Het museum werd geopend in 1982 (toen Delvaux zelf nog leefde) in het voormalig huisje van de kunstenaar John Bakker: Het Vlierhof. Het was een wit geschilderd visserhuisje met trapgevel en klokgeveltje. Het was meteen een schot in de roos. In 1983 openden twee extra zaaltjes. In 1988 opende de eerste expositiezaal onder de grond. In 1997 openden nog meer ondergrondse zalen onder de parking voor het museum. Het museum wordt beheerd door de Stichting Paul Delvaux die opgericht werd in 1972.
