Pena-paladset rummede oprindeligt et lille kapel dedikeret til Vor Frue af Pena. I 1503 erstattede kong Manuel I det med et kloster for Sankt Hieronymus-ordenen. Dette afsondrede religiøse tilflugtssted stod i over to århundreder, indtil det ødelæggende jordskælv i 1755 reducerede det til ruiner.