Fondée par le Comte de la Roche l’église devient très vite collégiale pour les chanoines et église paroissiale pour les habitants. Ces deux fonctions expliquent l’importance du cœur est du transept. Le bâtiment est solide : il a bravé les épreuves du temps, les incendies de la cité, les invasions qui se sont succédé.
Le clocher porche dû quant à lui être reconstruit deux fois. Le mobilier de l’église, détruit totalement pendant la Révolution a été remplacé : chapelles, retables, chaire en chêne sculpté avec les quatre évangélistes et leur symbole, tables de communion, vitraux du chœur et du transept, chemin de croix, vitrail représentant la Saint Trinité et au-dessous, au centre Notre Dame du Mont avec, à sa droite le Comte de le Roche tenant le Suaire du Christ et, à sa gauche, Saint-Hippolyte qui a donné son nom à la ville.
Parmi ce mobilier, une mention spéciale doit être attribuée à l’Aigle en bois doré, lutrin à double pupitre, sculpté au XVIIème siècle. Très important également, le pavement de l’église est formé, en grande partie, de dalles funéraires. Celles des comtes de la Roche, de chanoines du chapitre, de bourgeois ou de gens de métier de la cité.
Mais ce qui fait sans nul doute l’originalité de cette église est qu’elle a accueilli durant trente quatre années le linceul qui enveloppa la dépouille mortelle du Christ : le célèbre Saint-Suaire. Ce drap, aujourd’hui exposé à la chapelle royale de Turin en Italie fut déposé et vénéré ici de 1418 à 1452. Chaque année, pour la fête de Pâques, une procession était organisée sur le champ de foire sur les bords du Doubs pour que les pèlerins puissent venir se recueillir devant la célèbre relique.
A l’endroit en question, une stèle a d’ailleurs été érigée il y a quelques années. Pourtant, aussi vénéré soit-il, le Saint-Suaire n’est pas l’objet de tous les consensus, bien au contraire. Nombre d’expertises et de contre-expertises se sont en effet succédées pour vérifier, confirmer ou infirmer l’époque dont provient ce tissu. Pour les uns, il est authentique et a bien recueilli la dépouille du christ. Pour les autres, c’est une vaste supercherie. Une histoire complexe et passionnante en tout cas.
