Rapporteur général de la commission des Finances, il se voit confier un secrétariat d’Etat au sein
du ministère Schuman puis du ministère Queuille, avant d’être nommé commissaire général aux Affaires allemandes et autrichiennes. En 1957, Félix Gaillard l’appelle au secrétariat à la Marine, dans l'avant dernier ministère de la IVe République.
Européen fervent, Alain Poher assume des responsabilités importantes dans de nombreuses organisations qui préfigurent l’Europe moderne : président de la commission Transports de l’Assemblée commune du pool charbon-acier, président de la commission du marché commun, délégué à l’Assemblée parlementaire européenne puis président de celle-là.

Successeur de Gaston Monnerville à la présidence du Sénat en octobre 1968, Alain Poher en conservera le “ fauteuil ” pendant vingt-quatre ans. Dès son élection, il prend une part active dans la campagne du référendum d’avril 1969, dont l'échec entraîne le départ du général de Gaulle. Il assume alors les fonctions de président de la République par intérim, se présente à l'élection présidentielle, que remporte Georges Pompidou.

Alain Poher entreprend alors de rénover le fonctionnement de l'assemblée qu'il préside, en créant de nouveaux services, en donnant aux sénateurs des moyens supplémentaires, en ouvrant le Sénat sur l’extérieur. Cinq ans plus tard, la disparition de Georges Pompidou le conduit de nouveau à l’Elysée. L’influence du Sénat dans la vie politique est alors importante et la célébration du centenaire du Sénat, en 1975, est l’occasion de le rappeler.
En 1977, Alain Poher est élu président de l’Association des maires de France, élection qui conforte le rôle du Sénat dans la défense des collectivités territoriales.
A partir de 1981, devant une situation nouvelle, celle de l'alternance, Alain Poher sait faire jouer au Sénat un double rôle de modérateur et d’opposant.
En 1992, âgé de quatre-vingt-trois ans, il ne se représente pas à la présidence de la Haute Assemblée.