Entré sur concours à la mairie de Lyon, Joseph Serlin gravit tous les échelons de la hiérarchie municipale jusqu'aux fonctions de secrétaire général, qu'il atteint en 1909.
Durant la première guerre mondiale, il assure dans des conditions délicates le ravitaillement de la population lyonnaise. Edouard Herriot dira à son sujet en 1946 : « pour lui, rien n'était impossible. C'était son sport de lutter avec la difficulté et de l'abattre ».
En 1932, il prend sa retraite et se présente aux élections sénatoriales dans l'Isère. Elu en 1933, il s'inscrit au groupe de la gauche démocratique.
Durant la guerre, il rejoint la Résistance. Il fournit par centaines des cartes d'alimentation aux jeunes gens requis par le STO.
Le 7 janvier 1944, on retrouve son corps à la Chicotière près de Dommartin (Rhône). Il a été abattu de plusieurs balles dans la nuque, et sur son pardessus est épinglée une feuille de papier portant l'inscription « MNAT ». Il semblerait que ce soit le Mouvement national antiterroriste, créé en 1943 pour lutter contre la Résistance, qui soit à l'origine de cet assassinat.
Son enterrement dans sa commune du Crachier est suivi par une foule recueillie.