Puisque l'intervention de Zola dans l'Affaire Dreyfus est le motif invoqué pour justifier la translation de ses cendres, les adversaires de l'écrivain tentent naturellement de minorer son rôle. Emmanuel de Las-Cases explique ainsi que Zola n'a pas été le premier à prendre la défense de Dreyfus, citant notamment l'engagement du sénateur Auguste Scheurer-Kestner. Henri Ponthier de Chamaillard ne considère pas que « le fait d'écrire un article de journal, si grave qu'il puisse être, soit de nature à appeler pour un homme les honneurs du Panthéon. » Alors que Dominique Delahaye lance ironiquement que « Zola n'a pas perdu un cheveu » dans cette affaire, René Bérenger admet le courage de son action. Mais il ajoute que « si héroïque qu'il ait été, ç'a été un acte purement privé et en outre un acte unique ».

Un autre argument consiste à dénigrer l'efficacité de cet héroïsme. Pour Emmanuel de Las-Cases, « J'accuse » est une lettre brutale, aux effets désastreux : elle a suscité des « divisions terribles, des angoisses et des luttes » sans répandre la lumière de la vérité, retardant la révision du procès plutôt que de la hâter.  

En défendant son idée, Zola n'a pas eu « suffisamment pitié de la France  », la plongeant « dans des années de troubles qui l'ont empêchée de travailler avec union au développement de sa prospérité et de sa grandeur ». Dans tous les cas, le Panthéon est une récompense disproportionnée : une simple statue eût fait l'affaire.

Enfin, c'est donner à l'Affaire Dreyfus un prolongement inopportun, empêcher les plaies de se refermer. « Pourquoi ce retour offensif de cette malheureuse affaire ? » demande René Bérenger. « Ne craignez-vous donc pas de réveiller les passions à peine éteintes ? ».