Dans ses Mémoires, Haussmann raconte sa nomination à la Haute Assemblée :
« ...Comme je quittais l'Empereur, mon travail fini, Sa Majesté me rappela pour me dire : - « A propos, Monsieur Haussmann, j'ai résolu de vous nommer Sénateur ! » - « Sire ! » « Oui, oui » interrompit l'Empereur, « je ne veux plus que personne puisse dire à mon Préfet de la Seine, dans le Conseil municipal ou ailleurs : Je suis Sénateur et vous ne l'êtes pas ! » ».
Bien qu'Haussmann ait été un préfet d'exception, cette promotion n'avait en soi rien d'exceptionnel : sous le Second Empire tous les préfets de la Seine ont été sénateurs. Le Sénat du Second Empire est en effet voué à être composé des «éléments qui, dans tout le pays, créent les influences légitimes : le nom illustre, la fortune, le talent, les services rendus ». La nomination d'Haussmann intervient le 9 juin 1857 et fait l'objet d'une publication dans le Moniteur du 12 juin, déclenchant des réactions hostiles. Haussmann devient à la fois juge et parti puisque le Sénat est souvent saisi de pétitions concernant l'administration de la Seine.
Absorbé par ses fonctions de préfet, Haussmann ne déploya pas une intense activité à la Chambre Haute et ses interventions ne furent pas fréquentes tout au long des 13 années où il fut sénateur.
En 1859 et en 1860, Haussmann prend la parole pour défendre les boulangers, accusés de concurrence déloyale par les pâtissiers lors de la discussion d'une pétition déposée par ces derniers. Cela donne lieu, dans la séance du 6 juin 1860, à un incident entre M. Tourangin déclarant : « Notre collègue, oubliant peut-être trop qu'il n'est ici que sénateur, a dit : Toute la boulangerie est dans mes mains... Eh bien ! je dis qu'un tel langage n'est pas acceptable pour le Sénat. Quand le Sénat prononce le renvoi d'une pétition, il la renvoie au Gouvernement. Il y a autre chose que le Préfet de la Seine. Il y a le ministre, il y a le Conseil d'Etat. » et le baron Haussmann qui lui donne la réplique : « Mais le Préfet de la Seine qui s'est entendu dire l'an dernier, par l'honorable M. Tourangin, qu'il ne connaissait pas complètement la question, est bien fondé à faire remarquer, cette année, que l'ensemble du service de la boulangerie est dans ses attributions, pour justifier cette observation inoffensive... Je sais bien qu'ici c'est le sénateur qui parle, et non pas le Préfet de la Seine ; mais il reste difficile de dédoubler si complètement sa personne qu'on puisse avoir une opinion à l'Hôtel de Ville et une autre opinion au Luxembourg. ».