Het museum werd genoemd naar de stichter van het prentenkabinet, hertog Albert Casimir van Saksen-Teschen. Het prentenkabinet werd in 1776 gehuisvest in Presburg, het huidige Bratislava, de hoofdstad van Slowakije, maar verhuisde al in 1795 naar de tegenwoordige locatie in Wenen. Sinds 1822 is de collectie voor het publiek toegankelijk.
In 1919 gingen gebouwen en collecties in eigendom over naar de Oostenrijkse staat. In 1920 werd de collectie samengevoegd met die van de Kaiserliche Hofbibliothek. Vanaf die tijd heten zowel het gebouw als de collectie Albertina.
