O local do Palácio da Pena abrigava originalmente uma pequena capela dedicada a Nossa Senhora da Pena. Em 1503, o rei Manuel I o substituiu por um mosteiro para a Ordem de São Jerônimo. Esse retiro religioso isolado permaneceu por mais de dois séculos até que o devastador terremoto de 1755 o reduziu a ruínas.