Le 15 mars 1875, il est élu président de l'Assemblée nationale, grâce à l'appui des gauches.
Neuf mois plus tard, il est désigné, par l'Assemblée nationale, comme sénateur inamovible.
Un an après avoir été porté à la présidence de l'Assemblée nationale, il est élu président du Sénat, le 15 mars 1876, obtenant, une fois encore, le soutien de certains républicains. Audiffret-Pasquier est le premier des quinze présidents du Sénat de la IIIème République. A ce poste, il participe activement à la mise en place des nouvelles institutions parlementaires et veille, en particulier, à la protection des sénateurs dans l'exercice de leur mandat. Ainsi, lorsque Victor Hugo, sénateur de la Seine, fait l'objet d'une protestation du ministre de la guerre pour des écrits antimilitaristes, le président du Sénat classe l'affaire.
En janvier 1879, à la suite du succès des républicains, il doit abandonner la présidence du Sénat à Louis Martel, un autre sénateur inamovible.
Le 24 décembre 1878, le duc d'Audiffret-Pasquier est élu à l'Académie française, au fauteuil de Monseigneur Dupanloup. Il est reçu sous la coupole, le 19 février 1880, par le baron de Viel-Castel.
Pendant les vingt-cinq années de son mandat de sénateur, il participe aux principaux débats de la Chambre haute, au sein de la minorité conservatrice. Il s'élève, en juin 1880, contre l'application des décrets aux congrégations non autorisées, et proteste, en 1886, contre le sort réservé aux princes d'Orléans.
Très affecté par le décès de son épouse, en novembre 1903, et de son fils, Denis, des suites d'un accident automobile, en juin 1904, il meurt à Paris, le 4 juin 1905.
Son petit-fils, Etienne (1882-1957) sera député de l'Orne de 1919 à la chute de la IIIème République.
Parlementaire de renom, seul conservateur ayant accédé à la présidence d'une assemblée après la mise en œuvre des lois constitutionnelles de 1875, tenant persévérant de la tradition orléaniste, le duc d'Audiffret-Pasquier a été l'une des figures caractéristiques de la "République des ducs".
Reçu à l'Académie française au fauteuil d'Audiffret-Pasquier, Alexandre Ribot décrit son prédécesseur sous les traits d'un orateur fougueux, d'un libéral authentique et d'un catholique convaincu. Rappelons qu'Audiffret-Pasquier, lui-même, se définissait comme :
"un monarchiste, un libéral de l'école des anciens que, sous Henri IV, on appelait les politiques, parlementaires résolus, discutant leur foi politique, leur foi religieuse, avec des convictions d'autant plus fermes qu'elles étaient le résultat de réflexions longuement méditées."
Dossier d'archives : le Duc d'Audiffret-Pasquier