Palatul Pena a găzduit inițial o mică capelă dedicată Maicii Domnului din Pena. În 1503, regele Manuel I a înlocuit-o cu o mănăstire pentru Ordinul Sfântului Ieronim. Această retragere religioasă izolată a rezistat timp de peste două secole, până când cutremurul devastator din 1755 a redus-o la ruine.