Op de plek van het Paleis van Pena stond oorspronkelijk een kleine kapel gewijd aan Onze Lieve Vrouw van Pena. In 1503 verving koning Manuel I het door een klooster voor de Orde van de Heilige Hiëronymus. Dit afgelegen religieuze toevluchtsoord stond meer dan twee eeuwen totdat de verwoestende aardbeving van 1755 het tot ruïnes reduceerde.