L’édification du Palais du Luxembourg s’achève en 1630 par la construction de l’aile Est,  où s’étend, sur pratiquement toute la longueur du premier étage, la grande galerie aujourd’hui Annexe de la Bibliothèque du Sénat. 

Cette salle devait originellement être décorée de vingt-quatre tableaux de Rubens (1577-1640) à la gloire de Henri IV, pour faire pendant à ceux de la galerie Ouest, dédiés à Marie de Médicis. Ce projet n’aboutira pas, par suite des différends entre la Reine et le peintre. Il n’en subsiste que deux esquisses, exposées au Musée des Offices à Florence : la Bataille d’Ivry et l’Entrée de Henri IV à Paris.

À la mort de la Reine, le Palais échut au frère de Louis XIII, Gaston d’Orléans, dont la fille, la duchesse de Montpensier (1627-1693), occupa les appartements de l’aile Est. La " Grande Mademoiselle " y vécut jusqu’à sa mort, et c’est sans doute là qu’eut lieu en 1683 son mariage secret avec le " beau " Lauzun.

Le Palais, devenu propriété du Roi Soleil, revint à sa mort en 1715 au Régent, dont la fille, la scandaleuse Louise-Elisabeth d’Orléans -Reine d’Espagne pendant quelques mois- occupa à son tour l’aile Est de 1725 à 1742.

En 1750, grande première : la galerie et les salles adjacentes deviennent le premier musée de peinture français ouvert au public, et un des tout premiers en Europe. Les jours de visite, le public était également admis à admirer, dans l’aile Ouest, la galerie des Rubens, surnommée d'après le peintre Pierre-Paul Rubens.
 
Cette affectation prend fin trente ans plus tard, quand le Palais est donné au Comte de Provence, frère de Louis XVI et futur Louis XVIII. En 1780, les tableaux regagnent le Louvre.

Sous la Révolution, le Palais est transformé en " maison nationale de sûreté ", où seront emprisonnés maints pensionnaires célèbres. Le régime carcéral y passait pour agréable, ce qui n’empêchera pas, cependant, que beaucoup des illustres prisonniers finissent sur la guillotine : les Girondins en 1793, les Montagnards en 1794.

Siège du Directoire en 1795, le Palais du Luxembourg fut affecté en 1799 au " Sénat conservateur " de la Constitution de l’an VIII, désigné simplement " Sénat " à partir de 1802 (Constitution de l’an X). 

Les Sénateurs -notamment Joseph-Marie Vien (1706-1809), lui-même un des maîtres du peintre David- renouent avec la vocation artistique de cette salle prestigieuse ; ils aménagent un nouveau musée dans la galerie Est.
 

Surtout, la voûte reçoit, dès 1803,  les "Douze signes du Zodiaque" de Jordaens (1593-1678), considéré comme le meilleur élève de Rubens. Ces toiles forment un ensemble unique au monde, acheté à l’époque 4 500 francs-or, prix très modique comparé à celui de "L'Aurore", composition assez conventionnelle commandée pour 6 000 francs-or au peintre Antoine-François Callet (1741-1823) afin d’orner la partie centrale de la voûte.

A l’initiative du Comte de Corbin, ce second musée se voue, à partir de 1818, aux artistes vivants. Il ferme ses portes en 1886, alors que le Palais, après le retour de pouvoirs publics à Paris en 1879, est affecté au Sénat de la IIIe République. La Galerie est transformée en bibliothèque après 1887.

Cependant, des cellules de prison y seront épisodiquement aménagées durant les procès de la Haute Cour de Justice de la IIIe République, quand celle-ci siégeait au Palais du Luxembourg. Un bibliothécaire de l’époque note à ce sujet que " deux à trois jours suffirent pour déménager les quelque 50 000 volumes et... une quinzaine de jours pour les réintégrer ".

Ainsi, vingt-quatre personnalités inculpées de complot contre l’État -parmi lesquelles Déroulède et Marcel Habert, députés et membres de la Ligue des Patriotes- furent incarcérées là, dans des conditions qui, cependant, ne semblaient pas trop pénibles, à en croire la presse de l’époque.

Parmi les souvenirs marquants aujourd’hui installés dans l’Annexe de la Bibliothèque, on remarque un buste d’Anatole France, qui fut bibliothécaire du Sénat, et le "meuble égyptien" conçu pour abriter la fameuse "Description de l’Égypte".

En entrant dans l’Annexe, le visiteur remarque, sur le meuble central, un buste d’Anatole France (par Jo Davidson, 1883-1952), qui témoigne du passage de l’écrivain à la Bibliothèque du Sénat. Il y a été fonctionnaire de 1876 à 1890. Auteur d’une œuvre considérable –notamment Les poèmes dorés (1873), Les noces corinthiennes (1876), Le crime de Sylvestre Bonnard (1881), Thaïs (1890), La rôtisserie de la reine Pédauque (1893), Le lys rouge (1894), Crainquebille (1902), Les dieux ont soif (1912), La révolte des anges (1914)- il entra à l’Académie française en 1896 et reçut le prix Nobel de littérature en 1921.

La Bibliothèque du Sénat a compté plusieurs personnalités éminentes parmi les membres de son personnel, en particulier sous le Second Empire et le début de la IIIe République. Comme l’a dit un vice-président du Sénat dans un discours prononcé en 1934 : "Le Sénat est fier d’avoir ouvert un asile tutélaire à des débutants chargés de promesses ou à des vétérans chargés de lauriers. Il s’enorgueillit d’avoir abrité la claire érudition d’Albert Sorel et le cœur sensible de François Coppée, l’ironie nuancée d’Anatole France et la haute pensée de Leconte de Lisle.".

Dans un amusant petit ouvrage, "Les poètes assis", Claude-Louis a brossé un portrait de ces écrivains-bibliothécaires. Parlant d’Anatole France, il dit : " L’immense érudition de France, son amour des livres, la douceur de son commerce en eussent fait un bibliothécaire idéal, si le milieu s’y fût prêté. Mais il s’aperçut immédiatement que ses collègues entendaient rejeter sur lui toute la besogne effective et le traiter avec condescendance car sa naissante réputation ne leur semblait pas balancer leur renommée. France, conscient de son mérite, voulait bien travailler s’ils travaillaient ; mais il voulait, avec plus d’énergie encore, ne pas travailler s’ils se reposaient sur leurs lauriers […]".

A ce propos, Claude-Louis note avec quelque ironie : "Lacaussade et Ratisbonne avaient des titres de bibliothécaires, Leconte de Lisle celui de sous-bibliothécaire, et Anatole France celui, plus inférieur encore, de commis-surveillant. C’est à peu près le rang inverse de celui qu’ils occupent dans la hiérarchie littéraire, de là, une source intarissable de conflits".