A cause du coup d'État du 2 décembre, Victor Schoelcher regarde Napoléon III comme un usurpateur, qui exercerait illégitimement le pouvoir.
Par conséquent, il ne lui reconnaît nullement le droit d'accorder une amnistie, comme il lui conteste d'ailleurs le droit de condamner des Français à l'exil. Aussi, refuse-t-il, comme Victor Hugo, de revenir en France tant que le régime politique sera celui du Second Empire.
En outre, Schoelcher doute de la sincérité de l'empereur. Il soupçonne cette amnistie d'être une ruse destinée à faire revenir les opposants politiques en France afin de mieux les châtier. Pour avoir écrits des ouvrages contre le régime en place, il craint d'être arrêté s'il revenait sur son sol natal.