In de 17de eeuw werd op de plaats van een oud hospitaal aan de oever van de Mandel een augustijnenklooster opgericht. Onder invloed van Napoleon werden de Augustijnen allerlei beperkingen opgelegd en uiteindelijk moesten zij in 1797 hun klooster verlaten. Toen Napoleon de Kerk wat meer vrijheid gaf besloot de Gentse bisschop Mgr. Fallot de Beaumont een kleinseminarie op te richten in het verlaten augustijnenklooster. Het Klein Seminarie opende voor het eerst zijn deuren op 27 mei 1806.
Op 28 juli 1875 leidde Albrecht Rodenbach een opstand aan het Klein Seminarie tegen het gebruik van het Frans in het onderwijs. Dit protest werd bekend onder de naam De Groote Stooringe.
In 1928 werd de jeugdbeweging KSA in het Klein Seminarie gesticht door Karel Dubois.
Sinds 1996 kunnen ook meisjes zich inschrijven in het Klein Seminarie.
