In posizione sopraelevata rispetto alla cittadella Firmafede, sorgeva da epoca antica il castrum de Sarzano, chiamato poi Fortezza di Castruccio.
La struttura venne modificata ed ampliata nel 1488 nell'ambito del programma di rinnovamento difensivo della zona e fu, poi, completata nel 1502 con la costruzione del rivellino che inglobò la vecchia torre medievale.
Attualmente è un museo.