Палац зведений в першій половині XVІ століття на базі об’єднання трьох середньовічних будинків, в тому числі резиденції Рінальдо дельі Альбіці. Нинішній вигляд палац набув у кінці XVІ століття, коли новий власник сенатор Баччо Валорі Молодший, хранитель бібліотеки Mediceo Laurenziana, замовив новий проект фасаду архітектору і скульптору Джованні Баттіста Каччіні. За ідеєю самого власника, фасад прикрашений 15 барельєфами – портретами видатних науковців і митців Флоренції. На нижньому рівні (з підписами у табличках під барельєфами) зображені Аккурсіо, Пьєтро Торріджано Рустічеллі, Марсіліо Фічіно, Донато Аччайуолі, Пьєр Ветторі; на другому рівні - Амеріго Веспуччі, Леон Баттіста Альберті, Франческо Гвіччардіні, Марчелло Адріані і Вінченцо Борджіні; на третьому рівні - Данте, Петрарка, Боккаччо, Джованні Делла Каса и Луіджі Аламанні. Погруддя Козімо I Медічі над порталом також виконав Джованні Баттіста Каччіні.
Дивлячись на фасад, можна легко побачити три будинки, з яких складається палац: у центрі будинок Рінальдо дельі Альбіці, на фасаді якого збереглись два щити з гербами родини початку XV століття; праворуч – будинок у два вікна з майже зруйнованим гербом, який неможливо ідентифікувати; ліворуч – будинок з гербом родини Пацці – парою дельфінів. Реставрація фасаду проводилась у 1936 році і 1989-1990 роках. Вузенька вуличка не дозволяє сфотографувати палац анфас повністю.
Будівля включена до списку генерального директорату старожитностей і мистецтв 1901 року як національний художній спадок.
The palace was built in the first half of the 16th century on the basis of a combination of three medieval houses, including the residence of Rinaldo del Albizi. The current appearance of the palace was acquired at the end of the 16th century, when the new owner, Senator Baccio Valori Jr. , curator of the Mediceo Laurenziana library, commissioned a new faç ade design by architect and sculptor Giovanni Battista Cacchini. According to the owner himself, the facade is decorated with 15 bas-reliefs - portraits of prominent scientists and artists of Florence. At the lower level (with captions in plaques under the bas-reliefs) are Accurcio, Pietro Torrigiano Rusticelli, Marcilio Ficino, Donato Acchaiouoli, Pierre Vettori; at the second level - Amerigo Vespucci, Leon Battista Alberti, Francesco Guicciardini, Marcello Adriani and Vincenzo Borgini; at the third level - Dante, Petrarch, Boccaccio, Giovanni Della Casa and Luigi Alamanni. The bust of Cosimo I Medici over the portal was also performed by Giovanni Battista Cacchini.
Looking at the facade, you can easily see the three houses that make up the palace: in the center is the house of Rinaldo degli Albici, on the facade of which are preserved two shields with the family coats of arms of the early XV century; on the right - a house with two windows with an almost destroyed coat of arms, which cannot be identified; on the left - a house with the coat of arms of the Patzi family - a pair of dolphins. The facade was restored in 1936 and 1989-1990. The narrow street does not allow you to photograph the full face of the palace in full.
The building is included in the list of the Directorate General of Antiquities and Arts in 1901 as a national artistic heritage.