Victor Schoelcher ne remet pas en cause le principe de la colonisation. Il regarde la politique coloniale comme une condition du prestige de la France.
Mais en contrepartie des avantages que la colonisation procure à la métropole, les colons se doivent d'apporter la civilisation aux territoires colonisés.
Pour Schoelcher, cette notion regroupe l'ensemble des valeurs françaises, telles l'abolition de l'esclavage et l'organisation de la liberté, à l'exclusion cependant des valeurs religieuses qu'il ne saurait reconnaître puisqu'il est athée.
Pour autant, Victor Schoelcher n'hésite pas à dénoncer les abus de la colonisation. Il s'oppose à la vision d'une politique coloniale purement utilitaire et condamne tout à la fois l'exploitation des ressources coloniales par la métropole et l'utilisation des colonies comme terres de déportation et de relégation des criminels.
Enfin, il milite en faveur de l'augmentation de la représentation des colons à la Chambre des députés.