En 1951, il decroche son premier mandat parlementaire, en devenant député de Seine-Maritime, département dont il est originaire. En 1955, Edgar Faure le nomme secrétaire d’Etat à la présidence du Conseil. L’année suivante, nommé maître des requêtes au Conseil d’Etat, il est également chargé de mission auprès de Pierre Pfimlin, au ministère des Finances puis à la présidence du Conseil. En 1959, Jean Lecanuet est élu sénateur de Seine-Maritime. Au Sénat, il préside le groupe MRP et prend la tête de ce parti en 1962. Candidat du centre aux élections présidentielles de 1965, il contribue à mettre en ballottage le Général de Gaulle.

Elu maire de Rouen en 1968, il le restera durant vingt-cinq ans, veillant activement au développement et à l’embellissement de sa ville, qui est la toute première en France à instituer des rues piétonnes.
En 1973, Jean Lecanuet quitte le Sénat pour le Palais Bourbon mais il renonce à son siège de député l’année suivante pour prendre le portefeuille de la Justice, que lui confie à deux reprises Jacques Chirac.
Il fait alors voter l’abaissement de la majorité à dix-huit ans et défend la réforme constitutionnelle permettant à soixante parlementaires de saisir le Conseil constitutionnel.

En 1976, il devient ministre du Plan et de l’Aménagement du territoire du cabinet Barre. En 1977, Jean Lecanuet revient au Palais du Luxembourg et y préside, à partir de 1979, la commission des Affaires étrangères, de la Défense et des Forces armées. En 1978, il fonde l’Union pour la Démocratie Française (UDF), qu’il présidera pendant dix ans. Atlantiste, européen convaincu, partisan, dès 1965, des “ Etats-Unis d’Europe ”, il est élu député européen en 1979 et consacre les dernières années de sa carrière politique à ce combat européen, appelant avec enthousiasme au oui au référendum sur les accords de Maastricht.