På platsen för Pena-palatset fanns ursprungligen ett litet kapell tillägnat Vår Fru av Pena. År 1503 ersatte kung Manuel I det med ett kloster för Sankt Hieronymusorden. Denna avskilda religiösa tillflyktsort stod kvar i över två århundraden tills den förödande jordbävningen 1755 gjorde den till en ruin.