Il castello è situato al termine del lungo Viale dei Cipressi, poco distante dalla Chiesa di S. Antonio. È esternamente rivestito con mattoni rossi a vista e si erige su due piani. Sul lato destro della fabbrica ha un’alta torre, che accoglie al centro un arco, recante lungo il bordo una ghirlanda di foglie e di frutti, e nella parte interna l’armi dei Conti di Castagneto; ai lati si aprono due feritoie. La parte alta della torre accoglie due bifore sovrapposte con lo stemma Della Gherardesca. La parte superiore è merlata, così come la torre.  
Il palazzo residenziale è tipico della edilizia tardo rinascimentale; è invece medievale la Chiesa, mentre il campanile e la canonica sono il prodotto d’ interventi costruttivi sette-ottocenteschi.
La fondazione del castello di Bolgheri risale alla prima metà del Cinquecento; in precedenza, esso sorgeva nella località di Castelvecchio. I documenti ne attestano l’esistenza a partire dall’ottavo secolo fino al 1496, quando venne distrutto dalle truppe tedesche.

Nel XVI secolo, tuttavia, oltre alla Chiesa, era presente unicamente la residenza dei Conti Della Gherardesca, probabilmente affiancata dalla solita torre di avvistamento. A partire dal 1700 il palazzo subì vari interventi di ampliamento, abbellimento e ristrutturazione.

Una lapide rettangolare sulla torre documenta le vicende relative al drastico rifacimento della torre Castellana da parte del Conte Guido Alberto nel 1895.