El emplazamiento del Palacio da Pena albergaba originalmente una pequeña capilla dedicada a Nuestra Señora de Pena. En 1503, el rey Manuel I lo sustituyó por un monasterio de la Orden de San Jerónimo. Este apartado retiro religioso se mantuvo en pie durante más de dos siglos, hasta que el devastador terremoto de 1755 lo redujo a ruinas.