Situado na zona da cidade velha, apresenta duas torres grandiosas e quadrangulares, tendo a torre Norte uma janela em estilo manuelino.
A torre Sul, também chamada torre prisão, tem no seu interior uma grossa coluna granítica.
Destacam-se ainda dois curiosos "mata-cães" ou varandins e por todo o monumento existe grande quantidade de siglas gravadas em pedra.
A pequena distância das torres ergue-se a muralha que rodeava a cidade e nela se abriam seis portas: Santiago, S. João, Marrocos, Marialva, Alacavar e a da Vila.
O castelo tem zona de protecção estabelecido.