Convento construído pelos franciscanos arrábidos, em terrenos doados a estes religiosos por D. Francisco de Gusmão. Inicialmente tinha apenas meia dúzia de frades, tendo sido o convento aumentado em 1595 por Frei António, devido ao mau estado em que se encontrava. Passou a ter um claustro, uma sacristia e uma pousada para recolher os indigentes.

Com a extinção das ordens e venda dos seus bens em 1834, o conjunto religioso viria a ser adquirido por José Marques; em 1850 foi vendido a José Inácio de Andrade e, mais tarde, passaria a fazer parte do património do Conde de Cabral. Este último proprietário procedeu a diversos trabalhos, acrescentando ao conjunto um troço de muralha, um torreão e guaritas. A pousada foi também alvo de obras de adaptação a palacete.