Il Castello, chiuso tra le mura del Recinto Baronale, fu costruito dai normanni nella seconda metà dell’anno mille, ma fu sotto Federico II che trovò nuovo splendore, con la costruzione della torre, detta “Rocca Imperiale”. Oggi è sede del Museo delle Torture.