Après avoir siégé au Palais Bourbon en qualité de député du Loir-et-Cher, de la Seine, puis du Tarn, Joseph Paul-Boncour est élu sénateur du Loir-et-Cher, le 13 septembre 1931. Il s'inscrit au groupe de la gauche démocratique.
Nommé ministre de la Guerre en 1932, il est appelé, en fin d'année, à constituer un nouveau gouvernement, après la chute du cabinet dirigé par Edouard Herriot. Joseph Paul-Boncour n'assume la fonction de président du Conseil que 40 jours, son équipe étant à son tour renversée au tout début de 1933. Il conserve néanmoins le portefeuille des Affaires étrangères.
Dans les années qui précèdent la seconde guerre mondiale, il apparaît encore ponctuellement dans la composition de trois équipes gouvernementales, avant de retrouver son cabinet d'avocat et son siège de sénateur.
A la déclaration de guerre, il participe activement aux réunions de la commission des affaires étrangères du Sénat où il se heurte souvent à Pierre Laval, surtout à propos de l'Italie. Après que les Allemands ont franchi nos frontières, Joseph Paul-Boncour soutient vainement le départ du gouvernement vers l'Afrique du nord et refuse l'armistice.
Lorsque le Sénat et la Chambre des députés sont réunis au Grand Casino de Vichy pour remettre les pleins pouvoirs au maréchal Pétain, le 10 juillet 1940, Joseph Paul-Boncour présente un contre-projet spécifiant que toute modification de la Constitution doit être ratifiée par la Nation. A défaut d'être entendu sur ce point, son vote rejoint celui des 80 parlementaires qui s'opposent au projet de loi constitutionnelle.
A Saint-Aignan, pendant l'Occupation, il gagne les rangs de la Résistance et facilite le passage des courriers de la zone occupée à la zone libre. Il entre en contact avec Londres et, le jour du débarquement, trouve refuge dans un maquis du Lot, alors que la Gestapo le recherche dans le Loir-et-Cher.
Joseph Paul-Boncour reprend son activité politique à la Libération. Il est élu membre de l'Assemblée consultative provisoire en novembre 1944, puis représente la France dans les conférences internationales qui posent les bases de l'ONU.
Il siège à nouveau au Conseil de la République à partir de 1946, élu par l'Assemblée nationale, et devient président de l'association des « Quatre-vingts », qui regroupe les opposants à la réforme du 10 juillet 1940.
En novembre 1948, il perd son mandat parlementaire et se retire de la vie politique active. L'année suivante, il est décoré de la Légion d'honneur au titre de la Résistance.