Costruito nel 1565 per volontà della famiglia Granafei, di cui si conserva lo stemma sul portale principale, venne venduto nel 1862 alla famiglia Nervegna, da qui oggi la doppia intitolazione.

Il complesso, sede di alcuni uffici dell’Amministrazione Comunale, al primo piano, ampie sale espositive, ospitano mostre temporanee promosse dal Comune di Brindisi. Il prospetto principale dal gusto tardo – rinascimentale anticipa alcune soluzioni della cultura barocca riscontabili nella fitta decorazione delle balaustre dei balconi.

All’interno, nella sede dell’Ex Corte d’Assise, la sala della Colonna, custodisce il meraviglioso capitello originale del monumento romano,nello specifico gli ultimi tre elementi, il rocchio, il capitello e il pulvino. Di maestranza orientale, il capitello si compone da 12 figure di cui le quattro sulle facce principali rappresentano probabilmente alcune divinità marine : Nettuno, Anfitrite, Oceano e Teti; per ogni angolo coppie di figure pisciforme rappresentanti divinità marine secondarie.