Este castelo encontra-se situado num promontório (Monte da Penenciada), debruçado sobre o rio Angueira, a uma altitude de cerca de 600 metros. É considerada uma das ruínas mais impressionantes e pitorescas da província de Trás-os-Montes.

Funcionou como centro de defesa, apoiado pelo castelo de Outeiro e pelos desaparecidos roqueiros de Milhão e de Santulhão.

O castelo foi mandado edificar pelo guerreiro Mendo Rofino, no reinado de D. Afonso Henriques, tendo sido oferecido a D. Sancho I, o qual, como recompensa, ofereceu a Mendo Rofino o senhorio de Vimioso. O monumento fez parte dos bens da Ordem do Hospital e serviu de aposento ao delegado do rei, o qual recolhia os direitos reais das Terras de Miranda e Penas Róias. Esta construção militar foi mandada reedificar por D. Dinis, em 1298. A vila de Algoso foi saqueada e queimada pelos espanhóis durante a Guerra dos 7 Anos. No entanto, a forte resistência da guarnição do castelo, não permitiu que aqueles o ocupassem.

Subsiste do castelo a Torre de Menagem, diversos torreões e um reduzido átrio.

LOPES, Flávio (coord.), Património Classificado - Arquitectónico e Arqueológico - inventário, vol. I, Lisboa, IPPAR, 1993.