Foi justamente o seu sucesso na esfera régia o que o condenou a construir sua carreira basicamente em cima da retratística, quando ele teria preferido reconquistar sua credibilidade entre seus pares pintores e a crítica, perdida quando sua associação com a nobreza se fortalecia. Contudo, mesmo a contragosto, sua produção no gênero do retrato foi brilhante e tornou-o rico e célebre internacionalmente. Para a família real inglesa pintou nada menos do que cerca de 120 obras, muitas das quais ainda permanecem nas coleções reais e adornam os palácios da Inglaterra.

As reviravoltas políticas na França não afetaram a sua carreira e ele permaneceu requisitado por todas as dinastias que se sucederam, até sua morte. De fato, sob Napoleão III sua fama cresceu ainda mais. Seu retrato da Imperatriz Eugênia foi um sucesso na Exposição Universal de 1853 e permanece como uma de suas obras mais conhecidas.