Fils d'un lieutenant général, lui aussi nommé au Sénat conservateur, Armand Caulaincourt débute sa carrière militaire à quinze ans et devient rapidement aide de camp de son père. Destitué en raison de sa noblesse, il est emprisonné un court moment (1793) avant de réintégrer l'armée, où il devient aide de camp du général Aubert-Dubay.
Après plusieurs campagnes qui lui permettent d'atteindre le grade de colonel, il est envoyé en Russie comme diplomate. Malgré son échec dans cette mission, il garde la faveur de Bonaparte qui le fait général et lui remet la Légion d'honneur, dont il devient grand écuyer.
S'il participe à l'enlèvement du duc d'Enghien, il ne prend pas part à son exécution, qu'il désapprouve. Il est nommé ambassadeur à Saint Pétersbourg en 1807 et obtient le titre de duc de Vicence l'année suivante.
Après une période de méfiance (en raison de l'assassinat du duc d'Enghien), il est bien accepté à la cour de Russie. Il tente en vain de prévenir le conflit entre les deux empires. Il participe cependant à la campagne de Russie.
A son retour, en 1813, il intègre le Sénat. Présent au congrès de Prague et de Châtillon, il participe aux négociations de paix qui ne peuvent aboutir. Grâce à son crédit auprès du tsar Alexandre, il obtient pour Napoléon la souveraineté de l'île d'Elbe.
Ministre des affaires étrangères pendant les Cent-Jours, il se retire de la vie publique après la seconde abdication de Napoléon. Grâce à l'intervention du tsar, il est rayé de la liste des proscrits.
Il ne sort qu'un bref moment de sa retraite pour se défendre d'avoir enlevé le duc d'Enghien.
Il meurt le 19 février 1827.