Zoals de naam al doet vermoeden, is het gebouw voornamelijk opgetrokken uit marmer, meerbepaald Silezische marmer. Koning Frederik Willem II gaf in 1787 de opdracht om het kleine paleis te bouwen. Hij koos een prachtig plekje aan de Heiliger See in de Neuer Garten. Enkele jaren later, in 1797 bleek het kasteel al te klein te zijn en werd het uitgebouwd door de zoon van Friedrich Wilhelm II, Friedirch Wilhelm III. Na de Tweede Wereldoorlog deed het gebouw dienst als casino voor de brigade van het Rode Leger en als oorlogsmuseum. Nu kan je het bezoeken om de prachtige grottenzaal, de concertzaal en de woonruimtes te bewonderen.
