Il Primo intervento moderno sul vecchio edificio, di cui rimangono, oltre ai resti della fase carolingia, notevoli strutture della fase romanico-gotica, risale al Vescovo Cesare Ventimiglia (1615-1645). La seconda ristrutturazione avvenne a partire dal 1786 sotto Pio VI, che realizzò anche un collegamento con Palazzo Braschi. Di particolare rilievo è il portale d’ingresso, che qualifica in senso neoclassico la facciata del palazzo, per il resto alterata dopo l’ultima guerra.