La Collégiale Saint-Pierre se dressait sur le plateau le plus élevé, à l’intérieur de ce qui était le château, près de la résidence du gouverneur. Au moment où le tableau a été peint, il ne reste que la collégiale.
Sa construction fut décidée en 1072 par Robert le Frison, comte de Flandre.

La Collégiale Saint-Pierre était immédiatement soumise au Saint-Siège. Parmi les chanoines, on comptait sept prêtres, six diacres et sept sous-diacres. De plus, elle possédait seize chapelains. Plus tard ce nombre fut réduit à huit ou neuf accompagnés d’un certain nombre de vicaires. Le comte Robert décéda à Wijnendale en 1093 et fut inhumé dans la Collégiale Saint-Pierre à sa requête. Ce choix s’explique par le fait que Cassel était le lieu où Robert avait remporté une victoire importante au Val de Cassel, à Bavinchove, le 20 février 1071 sur l’héritier légitime Arnulf (Arnoul), fils de Baudouin VI de Bergues, allié au roi de France Philippe Ier son suzerain. Arnulf fut tué au combat. On lui donnera de ce fait le surnom d’Arnulf le malchanceux. En 1223, le mariage de la comtesse Marguerite de Constantinople et de Guy de Dampierre, son second époux, y fut célébré.

Toutes les fois qu’un comte de Flandre faisait sa première entrée à Cassel, le clergé de la ville avançait hors les murs et venait au-devant de lui en procession pour le conduire à l’église collégiale. Lorsqu’on était parvenu au lieu-dit de vier Meulen (les quatre moulins), le comte jurait de conserver et de maintenir les droits et privilèges du Chapitre de l’église de St.-Pierre, aussi bien que ceux de la ville et de la châtellenie.

Le 15 août 1566 la collégiale fut saccagée et détruite en grande partie par les Gueux, les insurgés calvinistes. Quasiment détruite par un incendie en 1672 avec quarante-deux maisons de la ville, elle fut remise en état vaille que vaille. Par rapport à un dessin de Van der Meulen effectué en 1677, on constate la présence d’une tour. Aucun document ne permet d’affirmer que cette tour a réellement existé. Finalement démolie en 1787-1788 sur l’ordre du Chapitre, la collégiale Saint-Pierre devait faire place à une construction neuve qui sortait à peine de terre lorsque la Révolution mit fin aux travaux et provoqua le départ des religieux.

Dans la crypte, qui existe toujours, on vénérait une portion de la chaîne qui aurait servi à attacher Saint-Pierre. Elle aurait été apportée de Jérusalem par Robert après son pèlerinage de 1090. De plus, on y conservait une statuette de la Vierge en buis, de dix à quinze centimètres, connue sous le nom de Onse Lieve Vrouwe van den Crocht (Notre-Dame de la Crypte) qui était réputée miraculeuse.