Le site du Palais de Pena abritait à l'origine une petite chapelle dédiée à Notre-Dame de Pena. En 1503, le roi Manuel Ier l'a remplacé par un monastère de l'Ordre de Saint-Jérôme. Cette retraite religieuse isolée a subsisté pendant plus de deux siècles jusqu'à ce que le tremblement de terre dévastateur de 1755 la réduise à l'état de ruines.