Outre le gouffre géant, Cabrespine se distingue par la présence discrète de son château, dominant le village. Mentionné dès le X^ème siècle, celui-ci appartenait à l'abbaye de Lagrasse.

Envahies par la végétation, les ruines ne présentent plus aujourd'hui qu'un angle et quelques restes de mur ... La fragilité de la pierre, très friable, a vraisemblablement contribué à la disparition progressive du château, consécutive à son abandon.

Parmi les personnages célèbres, originaires de Cabrespine, on retrouve un commandeur de la Maison du Temple de Montpellier en 1199, Pierre de Cabrespine.