Rutten bezat reeds zeer vroeg een bedehuis of kapel, mogelijk reeds in de 7de eeuw en misschien was dit wel de oudste kerk in Haspengouw. De parochie, toegewijd aan Sint-Martinus, was eerst in het bezit van de abdij van Selingenstadt, gesticht in 815 door Eginhard, tijdgenoot en biograaf van Karel de Grote. Het zou zijn zoon Lodewijk de Vrome geweest zijn die de parochie Rutten schonk aan deze vermaarde abdij. Door ruiling met Cagenberg ging ze in 1018 over naar Burtscheid bij Aken, die andere grote benedictijnerabdij.
Toen in 1222 het cisterciënzerinnenklooster van Sint-Salvatorsberg de abdij van Burtscheid overnam, kwamen alle rechten in handen van de abdis. Zij verkreeg nu alle inkomsten van de parochie, uitgezonderd die voorbehouden aan de pastoor, bijna alle tienden van Rutten, maar ook die van de dochterkerken Lauw en Herstappe en het begevingsrecht over de kerk, m.a.w. het recht om de pastoor aan te stellen. Wat Lauw en Herstappe betreft, daar werd de bedienaar van de kerk aangeduid door de pastoor van Rutten.
Omstreeks 1281 werd in de kerk van Rutten ook een kapittel van zes kanunniken opgericht. Van hen werden er vier door de abdis aangesteld en twee door de deken van de Onze-Lieve-Vrouwekerk van Aken. Eén van hen kreeg van de abdis de titel van proost en deken. Zo verwierf Rutten meteen de titel van collegiale kerk. Het kapittel werd afgeschaft in 1796.

De huidige kerk in classicistische stijl werd in 1844 aangebouwd tegen de mooie, imposante toren uit de 12de eeuw. Hij heeft een romaanse onderbouw uit silexblokken en een laatgotische bovenbouw. Reeds in de 14de eeuw moesten er herstellingswerken worden uitgevoerd en toen werd ook het groot gotisch venster in de westgevel geplaatst. De kerk bezit ook een romaanse doopvont uit de 12de eeuw.