San Comgall fundó la abadía en el año 558 y ésta creció hasta convertirse en uno de los centros de estudio más importantes de Irlanda, con casi tres mil monjes en la época de la muerte de Comgall en el año 601.

Dos de sus más famosos estudiantes, Columanus y Gall, viajaron por Europa creando monasterios en Luxeuil, Bobbio y Braganza. En el museo de North Down se pueden ver artefactos de la época más temprana del monasterio. La obra literaria más celebrada que proviene del monasterio es el Antifonario de Bangor del siglo VII, una colección de himnos, oraciones y poemas que ahora se guarda en la Biblioteca Ambrosiana de Milán. 

La vulnerabilidad de Bangor a los ataques por mar dio lugar a que la abadía sufriera deterioro tras muchos ataques vikingos. Fue restaurada parcialmente en el siglo XII por San Malaquías, adyacente a la Antigua Casa del Guarda, que es la parte más antigua que sobrevive de la abadía. 

El cuerpo principal del edificio data de los años 1830 y 1840 pero la torre es del siglo XV y el campamento octagonal data de 1693. El patio tiene muchas lápidas antiguas e interesantes entre las que se incluye un memorial a John Simpson, médico ayudante del Titanic y vecino de Bangor (entrando por la parte delantera de la abadía esta lápida está situada justo antes de la puerta lateral).