Il palazzo si affaccia sulla piazza aperta di fronte alla chiesa di Santo Stefano.
Esso venne eretto nella prima metà del XVI secolo, quando con il dominio mediceo Serravalle si trasformò in un tranquillo abitato, non più luogo di scontri tra le truppe pistoiesi, lucchesi e fiorentine. Cosimo I dei Medici istituì la podesteria di Serravalle, facente parte del Capitanato di Pistoia, il cui podestà divideva il suo incarico tra Serravalle e Larciano.
L’ edificio, divenuto un’ abitazione privata, ha una struttura semplice e conserva alcune caratteristiche cinquecentesche, quali il portale coronato da blocchetti di bugnato. Sulla facciata sono presenti gli stemmi gentilizi relativa alla carica podestarile.
L’ istituzione podestarile rimase sostanzialmente inalterata fino al 1838, quando i Lorena, granduchi di Toscana, inglobarono il borgo nella giurisdizione civile di Pistoia.
A lato troviamo il palazzo Pretorio, antica sede delle magistrature civiche, documentata dalla fine del xiv secolo. Oggi ha un aspetto moderno, con tracce della primitiva struttura sul fianco orientale.