Um 1270/73 wurden die Dominikaner von den Herren von Hohenlohe nach Mergentheim gerufen. Daraufhin errichtete der Orden in den folgenden Jahrzehnten eine Klosteranlage, in der die Ordensbrüder auch eine Lateinschule betrieben.
Die genauen Baudaten der Marienkirche sind nicht bekannt. Der Kirchenbau wird 1312 erwähnt und war jedenfalls vor 1388 vollendet.
In den folgenden Jahrhunderten wurde die Marienkirche von all den Mergentheimer Kirchen am stärksten durch Kriege in Mitleidenschaft gezogen: 1525 wurde sie durch den Bauernkrieg, 1552 durch den Markgrafenkrieg schwer getroffen und beschädigt. Die Renovierungsmaßnahmen erfolgten erst 30 Jahre später. Nach erneuten Schäden im Dreißigjährigen Krieg wurde die Kirche im Rahmen von Erneuerungsarbeiten ab 1688 barockisiert. 1715 erhielt das Schiff zusätzlich eine barocke Stuckdecke.
Nach all den Kriegszerstörungen stellt das Jahr 1809 den wohl größten Einschnitt dar. Napoleon löste den Deutschen Orden auf und die Dominikaner mussten das Kloster räumen. 1817 erwarb die Stadt die Kirche, die als Kaserne und Lagerraum genutzt wurde. 1852 übergab die Stadt schließlich die mittlerweile baufällige und zu verfallen drohende Kirche der katholischen Kirchengemeinde. Im darauffolgenden Jahr wurde sie wieder geweiht. Die Renovierung erfolgt im neugotischen Stil.
Die Marienkirche besitzt eine Reihe interessanter und seltener Kunstdenkmäler. Bei Betreten der Kirche fällt sofort der große, neugotische Hochaltar in den Blick, in den ein mittelalterliches Gnadenbild aus dem 14. Jahrhundert eingelassen ist. Ein weiterer bemerkenswerter Altar bildet den Abschluss des rechten Seitenganges. Er entstammt der Riemenschneiderschule und kann auf das Jahr 1519 datiert werden. Dargestellt ist der Tod Mariens, umgeben von den Aposteln.
Zu den bedeutendsten erhaltenen Kunstdenkmälern der Marienkirche gehören die mittelalterlichen Wandmalereien, die sich an Außenwänden der Kirche und in der Kapelle erhalten haben. Bei einer Renovierung 1948 wurden sie unter zahlreichen Kalkanstrichen entdeckt und freigelegt. Die Seitenwände des kreuzrippengewölbten Raumes wurden zwischen 1300 und 1310 von Frater Rudolphus von Wimpfen ausgeschmückt.Sie zeigen verschiedene Darstellungen Mariens, die Verkündigungsszene sowie Heilige, die zum Ordensleben oder zum Kloster eine enge Beziehung haben.
Neben den Fresken der Kapelle finden sich auch im Chor und Langhaus der Marienkirche Überreste mittelalterlicher Wanddekoration aus der Erbauungszeit.