La torre del Baró, o del Sol de la Vila, conocida en el siglo xiv como la torre d’en Beixa, es de las más imponentes del recinto por su privilegiada situación en la plaza del portal d’Avall. Su denominación moderna, torre del Baró, la vincula con la mansión anexa que fue propiedad de los barones de la Montoliva, de Vilallonga del Camp. Su relación con La Selva se evidenció cuando Pau de Magrinyà, en 1723, fue nombrado regidor del municipio.