Bereits in den ersten Nachkriegsjahren versammelte sich in Langelsheim eine Gemeinde aus Flüchtlingen und Vertriebenen zu Gottesdiensten an verschiedenen Behelfsorten: in Hotelzimmern oder in Wohnzimmern, wo immer Platz war. Als Priester konnten die Gläubigen Herrn Pfarrer Westphal nach Langelsheim locken, weil ihm dort ein gutes Quartier in Aussicht gestellt wurde. Er prägte lange Zeit die Aufbauarbeit der katholischen Kirche in Langelsheim. Viele Jahre wurden die Gottesdienste selbst an hohen Feiertagen in Gaststätten-Sälen oder im Kinosaal gefeiert.

Erst Pastor Wandersleb erlaubte es den Katholiken an besonderen Festtagen das evangelische Gotteshaus zu benutzen. So entwickelte sich aus der Not heraus ein enger Kontakt zur evangelischen Gemeinde. Die Katholiken hielten schon bald nach der Währungsreform nach einem eigenen Grundstück Ausschau und begannen den Bau eines eigenen Gotteshauses mit vereinten Kräften.

Im Mai 1951 wurde die Kirche durch Bischof Godehard Machens eingeweiht. 1982 bis 1985 wurde das Gotteshaus unter Leitung von Pfarrer Michael Nettusch umfangreich renoviert und modernisiert. Dabei erhielt die Kirche auch ihr heutiges Altarbild, das verschiedene Motive von Kreuz und Muttergottes vereint. Es wurde von dem Liebenburger Künstler Gerd Winner geschaffen und unter tätiger Mitwirkung der Gemeinde aufgebaut.

Seit der Errichtung der "Katholischen Kirche Nordharz" mit Wirkung vom 1. Juli 2007, ist Herz Mariä gemeinsam mit den Filialkirchen St. Clemens (Hornburg), St. Joseph (Othfresen) und St. Marien (Schladen) Teil der Pfarrei St. Mariä Verkündigung in Liebenburg.