Tijdens de Moorse overheersing van het gebied werd op een heuvel verderop het Castelo dos Mouros gebouwd. Dit was het militaire steunpunt in het gebied. Wat lager gelegen werd een paleis gebouwd voor de Moorse heersers.
Na de Reconquista werden beide bouwwerken zwaar beschadigd.
In de 14e eeuw werd op de plek van de residentie een nieuw paleis gebouwd. Het werd door verschillende Koningen van Portugal bewoond. In de loop van de eeuwen werd het gebouw nog een aantal malen uitgebreid.
