De la forteresse édifiée au XVe siècle par Guillaume de Tranchelion, il reste des vestiges de la porte d’entrée fortifiée, du mur Nord avec une tour carrée et de la muraille Sud ainsi que des casemates creusées dans le rocher. L'église a été construite au XXVIe siècle par Lancelot de la Touche qui institua un collège de cinq chanoines (d’où le nom de l’église) chargés d’assurer la célébration du culte, qui perdura jusqu’à la Révolution
Ses vestiges restent imposants notamment sa façade de style flamboyant, rare exemple d’architecture religieuse de la Renaissance