Tegenover de Sint-Walburgakerk ligt de stadsbibliotheek. Dit classicistische bouwwerk dateert uit de achttiende eeuw en wordt soms het „Vleeshuis” genoemd, omdat de Oudenaardse slagersgilde er eertijds haar onderkomen had. Het Vleeshuis werd gebouwd ter vervanging van een oudere overdekte vleesmarkt uit de veertiende eeuw.