Es una construcción singular con dos edificios adosados, que mantiene la apariencia de fortaleza y prisión: rejas en las ventanas, patios aislados de la vía pública por murallas de 7 metros de altura y una imponente escalinata de piedra que intenta disimular la pobreza de los materiales empleados en la construcción adosada a la cárcel medieval durante el siglo XIX. En la zona Este se encuentra la Torre del Conde. En el siglo XIX se construyó un cuerpo cuadrado adosado a la muralla, de tres plantas, rematado con un reloj de Canseco.