Na miejscu Pałacu Pena pierwotnie znajdowała się mała kaplica poświęcona Matce Bożej z Peny. W 1503 r. król Manuel I zastąpił go klasztorem dla Zakonu Świętego Jerome'a. To odosobnione miejsce kultu religijnego przetrwało ponad dwa stulecia, dopóki niszczycielskie trzęsienie ziemi w 1755 r. nie doprowadziło go do ruiny.