Il castello sorge sull’isola di Sant’Andrea posizionata di fronte all’imboccatura del porto interno lì dove fino al ‘300 sorgeva una monastero andato distrutto nel corso del XV secolo per far posto alla struttura difensiva.

La fortezza, venne commissionata da Ferdinando d’Aragona al figlio Alfonso con la volontà di difendere il porto e la città di Brindisi ed è proprio da lui che il castello prende il nome: castello Alfonsino – Aragonese conosciuto anche come castello di mare, per distinguerlo dal secondo castello della città detto di Terra( Svevo), Forte a mare per la presenta dell’immenso Forte e castello rosso a causa della colorazione rossastra che lo stesso attinge durante le ore del tramonto.