C’est au moment du percement de la rue Médicis, au début des années 1860, que les changements les plus importants intervinrent. Le nouveau tracé du préfet de la Seine, le Baron Haussmann, nécessitait la destruction d’une partie des dépendances du Sénat et le déplacement de la fontaine Médicis.

Ce percement, pratiqué en grande partie aux dépens du jardin du Luxembourg, souleva de vives protestations. Le projet d’Haussmann fut violemment combattu. Le Sénat, par l’intermédiaire de son architecte, Alphonse de Gisors, présenta un contre-projet. Le gouvernement passa outre. Au moment où les travaux allaient commencer, quinze opposants au projet adressèrent en décembre 1860 une pétition au Sénat qui eut pour conséquence l’ajournement des travaux jusqu'à la fin de l’année 1861.

La grotte fut finalement déplacée en 1862. Elle fut démontée, pierre par pierre, et rapprochée du palais d’environ trente mètres. Alphonse de Gisors restitua alors la couronne et les armes de France et des Médicis. Il fit construire au devant, entre deux rangées de platanes, un bassin long d’une cinquantaine de mètres qu’il orna de vasques.