De kerk is gebaseerd op een schets van de beroemde architect Pierre Cuypers, maar is verder uitgewerkt door Joseph Cuypers en Jan Stuyt. Deze bouwden een neogotische kerk met enkele neoromaanse kenmerken. De Sint-Gummaruskerk is zeer robuust, en de ware omvang van het gebouw is niet goed zichtbaar naarmate men dichter tot het gebouw komt.

Hoewel gebouwd op 1100 houten heipalen, blijkt het gebouw te zwaar voor de ondergrond en begint het te verzakken. Om dit te stoppen worden in 1928 extra kapellen en nissen bij het gebouw gevoegd om zo het relatieve oppervlak groter te maken en het gewicht van de kerk beter te spreiden. Dit lukt en de verzakking stopt. Desalniettemin is vanaf de zuidzijde van de Markt nog steeds zichtbaar hoe de kerk enkele tientallen centimeters de grond in is gedrukt.

De vieringtoren is 83 meter hoog, en de Sint-Gummaruskerk is daarmee de op twee na hoogste kerk van Noord-Brabant, na de Sint-Joriskerk in Eindhoven en de Grote Kerk in Breda. De toren, die op afspraak toegankelijk is, biedt een enorm uitzicht; en bij helder weer kan de hoofdtoren van de Onze-Lieve-Vrouwekathedraal in Antwerpen gezien worden.

Bij de kerk werd in 1929 een Heilig Hartbeeld geplaatst.

Tijdens de Tweede Wereldoorlog werd er in en rond Steenbergen hevig gevochten. De Gummaruskerk, die een enorm uitzicht over de gehele West-Brabantse regio bood, werd opgeblazen. Alle torens stortten in, het schip brandde compleet uit en al het glaswerk ging verloren.

De restauratie begon in 1946, en al in 1949 is het dak over het schip hersteld waardoor er voor het eerst in vijf jaar weer een kerstmis in de kerk gehouden werd. Medio jaren vijftig zijn de hoektorens weer herbouwd en in 1960 is ook de vieringtoren voltooid.