La sua costruzione è iniziata nel 1409, su un fortilizio medievale precedente. Dal 1496, con il rettore Matteo Tiepolo iniziano nuovi lavori che lo trasformano nell'attuale edificio, ad opera dell'architetto veneziano Giovanni Candi. Il palazzo, inizialmente in stile gotico veneziano, successivamente si è arricchito di decorazioni rinascimentali. I lavori si sono conclusi nel 1536 sotto il rettorato di Girolamo Arimondo. Fu commissionato dal "Collegio dei nobili" della città per confermare la dedizione alla Repubblica di Venezia (dopo la lega di Cambrai). Il consenso fu dato solo a fine secolo e il palazzo divenne la sede del governo veneziano nella città. Attualmente il palazzo è sede della Prefettura.