Le château d'Angioino est situé à l'est de la ville et date du 14e siècle, bien qu'il ait subi depuis d'importants changements, ajouts et rénovations.
Le premier plan du château était quadrangulaire, mais les Aragonais ont ensuite ajouté une muraille à plan polygonal, fortifiée avec des tours cylindriques aux angles. Ces travaux ont été réalisés sur les plans de l'architecte siennois Francesco di Giorgio Martini (1439-1501). D'autres travaux de l'époque espagnole comprennent la construction de la "tour de guet", lorsque le château a pris une forme quadrangulaire avec des sommets renforcés par quatre tours. Une cinquième tour circulaire a ensuite été érigée pour se défendre contre les attaques de la mer au début du XVIe siècle. Le château est resté inchangé jusqu'à la seconde moitié du XIXe siècle, lorsque, dans la zone en direction de la ville, les douves ont été comblées et les arcs qui soutenaient le pont-levis ont été enterrés.
Aujourd'hui, le château de Gallipoli a toujours cette base carrée et quatre tours aux coins : la cinquième tour, pendant les mois d'été, sert de cinéma, tandis que des expositions et d'autres événements culturels sont organisés dans les grandes salles.
