Los restos más antiguos de ocupación humana en el territorio de Castel de Cabra proceden de época ibérica y romana. Yacimientos de estas épocas son la Cueva Ahumada, el Villaralgo y el Cerro de Santa Bárbara.
La historia de Castel de Cabra está ligada a la encomienda de Montalbán desde la donación que hizo Pedro II al maestre de la Orden de Santiago. El monarca entregó Montalbán y sus aldeas (entre las que se encuentra Castel de Cabra) en 1210. Poco después se configura como encomienda mayor de la Orden de Santiago de la Espada en Aragón.
Se conservan documentos que indican que en 1404 seguía como aldea de Montalbán y en 1601 pertenecía a la Orden de Santiago de Montalbán.
Se denominaba Castel de Cabra desde 1495. Entre 1713 y 1787 aparece nombrada como Cabras. Después de esa fecha vuelve a llamarse Castel de Cabra.
En cuanto a administración, Castel de Cabra ha formado parte, de forma sucesiva, a la encomienda santiaguista de Montalbán, a la sobrecullida de Montalbán (1488-1495), a la vereda de Montalbán (1646) y al corregimiento de Alcañiz (1711-1833). Se constituye como Ayuntamiento en 1834 incluyendo el despoblado de Adobas. Desde 1834 hasta 1887 forma parte del partido judicial de Aliaga; se une de 1897 hasta 1900 al partido de Montalbán; cambia al de Aliaga entre 1910 y 1920; en 1930 pasa al partido de Montalbán; vuelve entre 1940 y 1965 al de Aliaga, para incorporarse, finalmente, en 1965 al partido judicial de Teruel.
Adobas era aldea de Montalbán al igual que Castel de Cabra. Se despobló en una fecha desconocida entre 1646 y 1711. Se agregaron su término al de Castel de Cabra en 1834.