På stedet der Pena-palasset ligger, lå det opprinnelig et lite kapell viet til Vår Frue av Pena. I 1503 erstattet kong Manuel I det med et kloster for Sankt Hieronymus-ordenen. Dette bortgjemte religiøse tilfluktsstedet sto i over to århundrer, helt til det ødeleggende jordskjelvet i 1755 la det i ruiner.