En 1706, en raison de la vétusté de la chapelle des Carmélites, il fut décidé de construire une église d'après un projet resté anonyme : l'avant-choeur (sous clocher) fut édifié en 1708, puis les travaux furent interrompus.

Le projet fut repris en 1713 avec un nouveau devis établi par Nicolas Verniquet, arpenteur du roi.

Il était prévu que l'église, accessible par un portail dorique, serait couverte de voûtes d'arêtes, ornée de pilastres ioniques, et flanquée d'un choeur pour les religieuses, tandis que seraient édifiés les trois galeries qui manquaient au cloître et un nouveau corps de logis (à l'emplacement de l'ancienne chapelle) .

En 1718 les travaux étaient, semble t-il, achevés : le dôme de l'église était comparable, d'après les historiens de la ville, à celui du Val-de-Grâce.

En 1820, la municipalité s'étant finalement installée dans l'ancien couvent des bénédictines, le couvent des carmélites fut vendu en plusieurs lots, mais le lot comprenant l'église n'ayant pas trouvé preneur, on décida, en 1821, d'y établir le tribunal.

Les travaux d'aménagement qui opposèrent longuement les architectes Tridon et Chaussier s'achèveront seulement en 1842, ayant profondément transformé l'édifice puisqu'ils entraînèrent notamment la destruction du dôme et du clocher. Les anciens bâtiments conventuels, transformés en logements, comprennent encore deux galeries de cloître et des salles voûtées.

L'église sert actuellement de réserves au musée municipal.