La famiglia Ginori, originaria di Calenzano, alla fine del Duecento si trasferisce a Firenze, stabilendosi nella zona di San Lorenzo. Il palazzo della famiglia, situato al n. 11 di via Ginori, venne fatto costruire nel primi anni del Cinquecento da Carlo Ginori “Il Vecchio” (banchiere e commerciante, ma anche con numerosi incarichi pubblici) su progetto di Baccio d’Agnolo (1516-1520) modificando alcune case appartenenti alla famiglia sin dal Quattrocento.
L’autore del progetto, Bartolomeo d’Agnolo Baglioni, più noto come Baccio d’Agnolo fu un rilevante scultore ed architetto fiorentino, autore nei primi anni del Cinquecento di molti lavori in palazzi pubblici e privati. È anche noto per la polemica con Michelangelo sul completamento del tamburo della cupola del Duomo.
Nel progetto originario la facciata era decorata con pitture di Mariano da Pescia (un allievo del Ghirlandaio) sulle storie di Sansone, oggi del tutto perdute.
Nel Seicento il palazzo subisce vari ampliamenti e modifiche anche con l’acquisto e la modifica di case adiacenti: al cortile centrale vengono affiancate due ali, che danno al palazzo una certa simmetria. Alcune sale del primo piano sono affrescate.
Nel Settecento l’edificio si ampia ancora, con l’acquisto di Palazzo Bandinelli (via Ginori 13), durante gli anni di Carlo Ginori, il fondatore della Manifattura di Doccia, che condusse proprio i primi esperimenti sulla porcellana proprio nel palazzo di famiglia (la lente ustoria usata da Carlo è conservata nel cortile), e nel 1846 in occasione del matrimonio di Lorenzo Ginori Lisci con Ottavia Strozzi viene coperto da un lucernario il cortile interno (così come lo vediamo oggi, dove al centro si trova una statua cinquecentesca della Fortuna, in origine ad uso di fontana) e si costruisce un nuovo scalone monumentale.
Sul retro del palazzo è un piccolo giardino privato.
