За первым разочарованием последовали другие. Не так представлял он себе возвращение эмиграции. «Наши дорогие соотечественники ничему не научились за двадцать пять лет, — писал Ришелье 31 января 1815 года, — ненависть, злоба, нетерпимость». Все это было так ему несвойственно. Сам он не чувствовал ненависти ни к кому. Среди отобранного у него когда-то имущества была великолепная картинная галерея, частью оставшаяся, вероятно, еще от кардинала. Она давно находилась в Лувре. Ришелье ходил в музей, любовался там картинами, которые когда-то ему принадлежали, и выражал полное удовлетворение по поводу того, что они перешли к французскому народу. Между тем он был теперь совершенным бедняком. От родового богатства ничего не оставалось; сбережения, сделанные за долгие годы службы в России, Ришелье, как сказано выше, пожертвовал на Отечественную войну. Он был так беден, что вынужден был продать украшенные алмазами знаки своих русских орденов.
Есть все основания думать, что больше всего он хотел вернуться в Одессу. Однако на него было оказано сильное моральное давление: кто мог бы выговорить для Франции у победителей лучшие условия мира, чем он? Александр I чрезвычайно почитал его; Веллингтон говорил, что слово герцога Ришелье лучше всякого договора. Ришелье уступил. После падения кабинета Талейрана он стал 26 сентября 1815 года председателем совета министров.
Здесь кончается «дюк Эммануил Осипович де Ришелье». Начинается карьера французского государственного деятеля, не относящаяся к этой статье. Карьера ничем особенно не замечательная. Ришелье не унаследовал политических талантов знаменитого кардинала. Вдобавок и подход его к политическим противникам — ты человек, я человек, отчего же нам не сговориться полюбовно? — явно не соответствовал «задачам текущего момента». Были у него и важные ошибки. Он не удовлетворил ни правых, ни левых, ни короля, ни оппозиции, никого. Вероятно, и сам был удовлетворен не слишком. Впрочем, все отдавали должное благородству его характера и бескорыстию, исключительному для той эпохи, — да и для всех других эпох. При окончательном его уходе в отставку парламент, зная, что у этого бессребреника нет ни гроша, назначил ему пожизненную ренту в 50 тысяч франков. Ришелье отказался от дара, сославшись на нежелание увеличивать финансовое бремя страны. Людовик XVIII заявил, что усмотрит в отказе личную для себя обиду. Тогда Ришелье принял дар — и тут же пожертвовал его на устройство богадельни в Бордо.
В последние годы своей жизни, разочарованный и усталый, он то путешествовал, то жил в глуши. Все собирался снова посетить Новороссию, мечтал об этом, давал советы своим преемникам. Письма его свидетельствуют, что, как другой знаменитый эмигрант, Жозеф де Местр, он мог бы сказать: «На смертном одре буду молиться на Россию». Ему не суждено было снова увидеть Петербург, Одессу, Крым. 16 мая 1822 года он скоропостижно скончался пятидесяти пяти лет от роду.
Детей у него не было. С ним угас род герцогов Ришелье, давший людей столь разных, — точно одни искупали грехи других. Король передал семье Жюмильяков многочисленные титулы, оставшиеся от кардинала.