La tour del Baró – dite aussi tour del Sol de la Vila et connue au xive siècle comme la tour d’en Beixa – est l’une des plus imposantes de l’enceinte, par sa position privilégiée près de la porte d’Avall. Cette appellation plus moderne de « tour del Baró » tire ses origines de la demeure attenante des barons de la Montoliva, de Vilallonga. Leur lien avec La Selva est mis en évidence par la figure de Pau de Magrinyà, qui était conseiller de la municipalité en 1723.