На месте дворца Пена первоначально находилась небольшая часовня, посвященная Богоматери Пена. В 1503 году король Мануэль I заменил его на монастырь ордена Святого Иеронима. Это уединенное религиозное пристанище простояло более двух веков, пока разрушительное землетрясение 1755 года не превратило его в руины.