La torre del Baró o del Sol de la Vila, coneguda al segle xiv com la torre d’en Beixa, és de les més imponents del recinte per la seva posició privilegiada al portal d’Avall. El seu nom més modern, torre del Baró, prové de la casa adjunta dels barons de la Montoliva, de Vilallonga. La seva relació amb la Selva es va fer evident amb Pau de Magrinyà, que el 1723 era regidor del municipi.