Dominant le village, les ruines du château présentent encore un bâtiment de plan rectangulaire ainsi qu'un grand donjon rectangulaire, en appareil moyen. Le bâtiment principal semble dater du XII^e ou XIII^esiècle.

L'étage est percé d'une fenêtre datant probablement de la Renaissance.

L'enceinte clôture une cour du côté opposé au village, flanquée d'une tourelle ronde d'escalier et d'une tour carrée.

A voir aussi : la tour-porte du village, à quelques mètres des restes du château.

Le château de Durban est possédé par Bernard de Durban au XII^e siècle. En 1229, Guillaume de Durban jure fidélité au roi de France. La famille de Durban possèdera le château jusqu'en 1787. Un siècle plus tard, il servira, comme de nombreux châteaux médiévaux, de carrière pour les maisons du village et des alentours.

Apparemment d'une branche différente, on retrouve des Durban, famille féodale du Pays d'Oc, notamment Pierre de Durban, seigneur de Calmont-sur-l'Hers et vassal de Roger-Bernard, comte de Foix, en 1217 (conférence de Saint-Lizier) puis en 1226 (traité d'Agen). Comme de nombreuses familles de la région, ils sont étroitement liés au catharisme. Bernard de Durban reçut le consolament, de même que Pierre de Durban (ce dernier en 1216, à Foix).