De Sint-Martinusparochie van Berg, waarvan het Onze-Lieve-Vrouwekapittel van Tongeren vanaf 1204 het patronaats- of begevingsrecht bezat, m.a.w. de pastoor benoemde, zou reeds ontstaan zijn in de Karolingische tijd. Zij was de moederkerk van ’s-Herenelderen, dat pas in 1261 een afzonderlijke parochie werd. Het was wel de pastoor van Berg die de pastoor van Elderen mocht blijven aanstellen.
De kerk zou gebouwd zijn op een oude cultusplaats, waar volgens sommige historici een Neptunustempel stond. Dit blijkt uit de vondst van een godensteen bij het afbreken van het altaar in 1872 (deze wordt nu bewaard in het Curtius te Luik). Deze vierkante steen is 60 cm hoog en 40 cm breed en heeft aan elke zijde een ondiepe nis met verheven beeldhouwwerk o.a. van Fortuna, Mercurius en nog twee andere godheden. Dit altaar heeft men vermoedelijk reeds in de 11de -12de eeuw, toen de kerk werd gebouwd, gebruikt als basis voor het altaar. Van de oorsponkelijke Romaanse kerk bestaat enkel nog het schip evenals het onderste gedeelte van het transept. De bestaande halfronde absis werd ca. 1400 vervangen door een polygonaal koor, dat in het midden van de 16de eeuw een gotisch ribgewelf kreeg, zoals ook het toen verhoogde transept. De houten zoldering van het schip werd in 1872 volledig vernieuwd. De zuidelijke zijbeuk dateert nog uit de 16de eeuw, terwijl de noordelijke zijbeuk met het ingangsportaal toen ook haast volledig werd herbouwd. Van de toren is vermoedelijk alleen de basis uit de 11de eeuw en het hogere deel uit de 13de, terwijl de bovenste lagen in baksteen bijgemetseld werden in 1792. Het gelijkvloers van de toren geeft rechtstreeks uit op de middenbeuk. Volgens Benoit Geukens zou deze ruimte gebruikt geweest zijn als doopkapel.