Risalgono all'ultimo quarto del Settecento i primi documenti, contratti d'affitto e lettere private indirizzate ai Conti Agostini, in cui si faccia menzione esplicita della presenza di un Caffè al piano terreno del Palazzo Rosso, così detto per la singolare decorazione in cotto della facciata tardogotica di Casa Agostini.

Numerosi rapporti del Bargello di Pisa rivelano che da oltre due secoli questo Caffè dei lungarni è stato la meta preferita degli studenti e dei professori di idee più avanzate dell'Ateneo pisano, i quali solevano riunirsi in queste salette non solo per giocare al biliardo, ma per discutere di politica e commentare le gazzette che riferivano di moti carbonari nelle Romagne, negli Stati Pontifici o nel Napoletano. Fu proprio per esser salito su un tavolino dell'Ussero a declamare ad alta voce una di queste notizie che lo studente livornese Francesco Domenico Guerrazzi fu sospeso per un anno dall'Università. Ma ogni occasione, dal superamento di un esame al conferimento della laurea, costituiva un buon motivo per correre all'Ussero a festeggiare, o a improvvisare allegre Feriae Matricularum anche fuori stagione.

Delle allegre brigate di allora parlano molti vecchi studenti, che si sarebbero in seguito distinti in ogni campo professionale, del sapere o della politica: dall'aretino Antonio Guadagnoli, il quale, improvvisando quartine scherzose fece una penosa impressione al Leopardi, che vi accenna nello Zibaldone, al monsummanese Giuseppe Giusti, l'eterno fuoricorso, venuto, come scrisse lui stesso, a studiar Legge di contraggenio; dal maremmano, ma pisano d'elezione, Renato Fucini, che in questo locale scoprì la propria vena poetica, al primo italiano vincitore di un Premio Nobel, il versiliese Giosuè Carducci, il quale, dopo aver superato brillantemente un esame, corse all'Ussero a improvvisare un poema eroicomico: "Eroe dell'epopea, ch'io un po' cantavo, un po' declamavo, era un vaso etrusco personificato, il quale entrava nell'Ussero e spaccava le tazze, i gotti, e simili buggeratelle moderne."

Abituali frequentatori del più celebre Caffè pisano — ed uno dei più longevi d'Italia, accanto al Florian di Venezia, al Pedrocchi di Padova e al Greco di Roma — furono anche Giuseppe Montanelli, ardente sostenitore, da studente, degli ideali mazziniani e volontario sui campi di Curtatone e Montanara, dove fu gravemente ferito, e Alessandro D'Ancona, primo direttore del quotidiano fiorentino La Nazione e della Scuola Normale, Senatore del Regno e Sindaco di Pisa. Ai tavoli dell'Ussero sedettero anche altri noti personaggi della politica, della cultura e dell'arte, da Giuseppe Mazzini ai garibaldini Giuseppe Cesare Abba e Vittorio Betteloni; da Paolina Leopardi, sorella del Poeta, al fisico Luigi Puccianti, maestro di Enrico Fermi; da Guglielmo Marconi a John Ruskin, l'unico ad aver descritto l'insegna dell'Ussero, raffigurante un soldato su un cavallo rampante, poi gettata in Arno dalla folla insofferente di qualsiasi richiamo alla dominazione austro-ungarica.

Dopo aver subìto a fine Ottocento una ristrutturazione e trasformazione in café-chantant e poi in uno dei primi cinema pisani, il Caffè dell'Ussero, dopo le chiusure dovute agli eventi bellici, ospitò varie iniziative artistiche e culturali, che portarono nelle sue antiche sale la famosa soprano Renata Tebaldi e lo storico dell'arte Enzo Carli; i celebri saggisti Carlo Pellegrini e Mario Praz, e i pittori Salvatore Pizzarello ed Ernesto Mussi — cui si devono i ritratti di alcuni celebri Usserini esposti sulle pareti del locale — fino agli scrittori Bino Sanminiatelli, Mario Tobino e Giovanni Spadolini ed ai futuri presidenti della Repubblica Giovanni Gronchi e Carlo Azeglio Ciampi, entrambi ex allievi dell'Università di Pisa e Normalisti.

A tutti questi fatti e figure è dedicato L'Ussero: un caffè universitario nella vita di Pisa, un volume riccamente illustrato, pubblicato nel marzo 2000 dalle Edizioni ETS, che raccoglie saggi di vari autori.

Dopo l'ultimo restauro, eseguito nel 1999 dall'architetto Claudio Gioia, che ha restituito al locale l'antico splendore, grazie alla lungimiranza dei proprietari e del conduttore è ripresa anche l'attività culturale del Caffè, che vede ospitare nelle sue sale le riunioni dell'Accademia Nazionale dell'Ussero, dell’Alliance Francaise e degli Ordini Goliardici Pisani.