Issu d'une famille de nobles polonais, Jean Zyromski fait ses études de droit à Toulouse. En 1912, il adhère à la section socialiste de la Haute-Garonne. Après sa thèse de doctorat, il passe avec succès le concours de rédacteur de la préfecture de la Seine. Mobilisé en 1914, il est blessé, puis réincorporé en 1916 dans les rangs de l'armée d'Orient. Sa valeureuse conduite lui vaut la croix de guerre.
Journaliste politique pendant l'entre-deux-guerres, il milite pour un rapprochement entre socialistes et communistes face au danger de l'extrême-droite et à la montée du fascisme. Entre 1936 et 1939, il se rend onze fois auprès des républicains espagnols et prend position contre la ratification des accords de Munich.
Dès les premières heures de l'Occupation, les Allemands menacent de l'arrêter à la préfecture de la Seine. Ils perquisitionnent son domicile parisien, mais renoncent finalement à l'interpeller.
Mis à la retraite en octobre 1940, Jean Ziromsky se retire dans sa ferme du Lot-et-Garonne. Là, il participe activement à la Résistance.
Arrêté en tant que juif en 1943, il est emprisonné au fort du Hâ, puis à Mérignac, avant d'être transféré à Drancy. Son ascendance catholique ayant pu être prouvée, il est libéré et revient dans le sud-ouest au début de l'année 1944.
Conseiller municipal de Duras dans le Lot-et-Garonne en avril 1945, il adhère en septembre au parti communiste. Sous cette étiquette et dans ce département, il est élu au Conseil de la République en 1946.
Il se retire de la vie politique en 1948 et s'éteint à Melun le 20 octobre 1975.