De Sint-Gangulfuskerk is in de periode 1055-82 gebouwd onder leiding van abt Adelardus II van de abdij van Sint-Truiden. Tot aan het eind van het Ancien Régime benoemden de abten van Sint-Trudo de pastoors van de Sint-Gangulfuskerk. Van de 11e-eeuwse kerk is het schip nog bewaard gebleven in de huidige kerk. De kerk verving waarschijnlijk een ouder kerkgebouw, waarvan een pijler is teruggevonden tijdens restauratiewerkzaamheden. In 1133 werd de kerk parochiekerk en omstreeks deze tijd werden het koor, de apsis en het transept gebouwd. De transeptarmen zijn in de 16e eeuw sterk sterk verbouwd, de zijbeuken in de 17e en 18e eeuw. Rond 1900 werd de kerk aan de buitenkant gecementeerd en aan de binnenzijde bepleisterd in neoromaanse stijl.
Onder leiding van R.M. Lemaire en P. Van Mechelen vond van 1956-61 een grote restauratiecampagne plaats, waarbij diverse verbouwingen uit het verleden werden teruggedraaid, met de bedoeling de oorspronkelijke romaanse architectuur te benadrukken. Onder andere werden enkele in het verleden gedichte muuropeningen opnieuw geopend, werden de onderbouw en de bovenmuren van de kerk verstevigd met gebruikmaking van moderne methodes en materialen, en werd de cementering en bepleistering van buiten- en binnenkant verwijderd.
