De planta aproximadamente rectangular, foi construído nos séculos XII-XIII e ampliado por D. Dinis que nele ergueu uma torre de menagem pentagonal de 30 metros de altura, aquando da conquista das terras de Riba-Côa. A defesa da torre é reforçada por matacães. A cidadela encontra-se pontificada por torreões com ameias, sulcados por seteiras em cruz. Das alterações levadas a cabo no reinado manuelino, mantem-se um portal de acesso à ponte levadiça. Saliente-se a espessura e a altura das cortinas da alcáçova, bem como a presença de uma barbacã.

Segundo as crónicas, o governador da praça de Alfaiates, Brás Garcia de Mascarenhas, poeta e autor do "Viriato Trágico", esteve aprisionado na Torre do Relógio. Neste castelo ocorreu também a cerimónia do matrimónio da "formosíssima Maria", filha de D. Afonso IV, com Afonso XI de Castela.