Het Duivelsteen is een van de oudste adellijke woningen in Gent. De burcht is in de dertiende eeuw opgericht in opdracht van ridder Gheeraert Vilain, bijgenaamd de Duivel. De ridder dankte zijn bijnaam aan zijn donkere huidskleur en gitzwarte haar, hoewel andere legendes beweren dat zijn wrede karakter er voor iets tussen zit.
Reeds in het midden van de veertiende eeuw kocht de stad Gent het steen van de familie. Door de eeuwen heen deed het dienst als wapenopslagplaats, weeshuis voor jongens, (muziek-)school, gevangenis, tuchthuis en krankzinnigengesticht. Vandaag huist het Rijksarchief er.