Après ses études à la faculté de droit de Paris, Jean-Baptiste Ferrouillat est élu l'un des plus jeunes membres de l'Assemblée nationale en 1848. Bien qu'il soutienne le parti du National favorable au général Cavaignac, il incline, après l'élection du prince-président à l'Elysée, vers la politique de Louis Napoléon Bonaparte. Non réélu à l'Assemblée législative en 1849, il se fait inscrire au barreau de Paris et manifeste son attachement à l'opposition républicaine après le coup d'Etat de 1851.

Nommé conseiller municipal de Lyon, sa ville natale, il est élu représentant à l'Assemblée nationale en 1871 et vote pour la Constitution du 25 février 1875. Il devient sénateur du Var en 1876.

La même année, avec Victor Hugo, il signe et vote la proposition d'amnistie plénière en faveur des « communards ». Il donne son suffrage à l'article 7 de la loi du 18 mars 1880 relative à la liberté de l'enseignement supérieur.

En 1888-1889, il est ministre de la Justice et des Cultes dans le cabinet Floquet.

De retour au Sénat, il ne se manifeste plus en séance publique car il se consacre à ses fonctions de président de la commission relative aux sociétés de secours mutuel. Battu aux élections sénatoriales de 1891, il décède à 82 ans à Montpellier.