La sua costruzione risale a Roberto il Guiscardo e fu poi successivamente ampliato dagli Svevi e trasformato in prigione dagli Angioini. Sotto gli aragonesi riprese la sua funzione difensiva e raggiunse il suo massimo splendore. È una struttura di mole gigantesca, munita di robuste cortine e poderosi torrioni cilindrici.