De oudste schriftelijke vermelding van een huis op de plaats van het huidige Drift 25 dateert uit 1439. Er zijn echter nog resten van kelders en fundamenten aanwezig die van oudere datum zijn.
Familie Van Renesse
Het pand wa vele jaren eigendom van de familie Van Renesse, die een belangrijke rol speelde in de Nederlandse geschiedenis. De familie had in eerste instantie goede betrekkingen met de Spaanse vorsten Karel V en Fhilips II, maar sloot zich later aan bij het verzet tegen de Spanjaarden. Verscheidene leden van de familie waren lid van het ‘Verbond der Edelenen’, dat in 1566 een ‘Smeekschrift’ aanbood aan de Spaanse landvoogdes Margaretha van Parma. Hiermee verzochten ze om verzachting van de strenge godsdienstverordeningen, die erop gericht waren het protestantisme de kop in te drukken. Bekend over Drift 25 is dat de familie Van Renesse in dat jaar onder andere Willem van Oranje en diens broer Lodewijk van Nassau ontving.
Familie Van Nellesteyn
In de achttiende en negentiende eeuw ging het huis, via de bekende Utrechtse familie Van Rhede, door vererving over op de bestuurdersfamilie Van Nellesteyn. Zij bewoonden hun woning in de stad niet permanent omdat zij graag verbleven op hun buitenhuizen op de Utrechtse Heuvelrug. In opdracht van de familie Nellesteyn werd een geheel nieuwe gevel met wapensteen voor de woning opgetrokken. De steen werd gevormd door twee griffioenen, die ieder een leeg wapenschild vasthouden. (De kroon, die in de loop van de tijd was verdwenen, is weer aangebracht tijdens de restauratie van 1965-1970).
Lodewijk Napoleon
In 1809 werd Drift 25 aangekocht door Lodewijk Napoleon, omdat hij dit pand nodig had voor de bouw van zijn balzaal aan zijn paleis even verderop. Toen tijdens de bouw van zijn paleis bleek dat het complex door de maatvoering toch niet aan zijn wensen voldeed, vertrok hij naar Amsterdam om het Paleis op de Dam te betrekken.
Lodewijk Napoleon was de laatste bewoner van het pand. Na zijn vertrek stond het paleiscomplex, en daarmee ook het huis aan de Drift, lange tijd leeg. Vervolgens kreeg Koning Willem I de beschikkig over het gebouw en hij liet het in de zomer van 1814 enigszins opknappen toen de Russische tsaar Alexander een bezoek bracht aan Nederland. Een inventaris voor het gastenverblijf leende Willem I van Utrechtse particulieren.
In 1818 werden de panden van het voormalige paleis gesplitst en kon de universteitsbibliotheek gebruik maken van het pand aan de Drift. Tegenwoordig is nog steeds de bibliotheek van de faculteit Letteren hier gevestigd.
