Op initiatief van koning James I startte architect Inigio Jones in 1616 met het bouwen van een groot paleis voor toenmalige koningin Anne van Denemarken. Het was een grootse constructie in H-vorm zodat de koningin ongezien van haar vertrekken tot naar het nabijgelegen park kon wandelen. De koningin stierf echter in 1919 en de werken werden stilgelegd. Pas tien jaar later, toen het huis was overgelaten aan de Charles I en diens vrouw Henrietta Maria. Toch, ook door haar werden de vertrekken niet bijster lang gebruikt. Pas in de 19de eeuw kon het paleis weer dienst doen, maar dan als onderkomen voor de Royal Hospital School. Sinds 2001 is het in het bezit van de National Maritime Museum dat de prachtig gerestaureeerde vertrekken gebruikt als locatie voor de collectie nautische kunst van meer dan 300 portretten.
