В Куллодене в середине апреля 1746 г. принц и его армия потерпели серьезное поражение. Попытки перегруппироваться в сражающую армию не было, прозвучал общий панический приказ «спасайся, кто может».
Последующие пять месяцев окончательно закрепили легенду принца на все времена. Чарльз Эдуард при объявленном вознаграждении за его голову в 30 000 фунтов стерлингов (в наше время — 2 миллиона фунтов) ускользнул от своих преследователей, скрывшись с внешних островов на материк, всегда опережая своего противника на один шаг.
После спасения на борту французского корабля во всей Европе его считали героем дня. С возвратившимся во Францию принцем вначале носились, как со знаменитостью. Но в 1747 г. отношения между ним и Людовиком XV осложнились, а еще больше они испортились в 1748 г., когда французы решили заключить мир. Один из пунктов мирного соглашения, на котором настаивали британцы, гласил: Франция должна выслать «молодого претендента» из своих территорий.
Людовик XV просил принца покинуть страну, а тот отказался. Началась поистине настоящая титаническая борьба воли, когда Чарльз Эдуард при поддержке множества друзей в Париже (он пользовался широкой популярностью и среди простых людей) отказал французскому королю в повиновении, открыто ходил в оперу, посещал другие общественные и культурные мероприятия.
Были даже такие, кто полагал, что на испытание силы воли Людовика принца подвигла жена короля и ее сын-дофин, которые мечтали выдворить мадам де Помпадур и заставить короля отречься от престола в пользу наследника. Но при любой причине, благодаря которой Чарльз Эдуард посчитал себя неприкосновенной персоной, вскоре ему пришлось отказаться от этих иллюзий. В декабре 1748 г. Людовик приказал арестовать принца, поместить в шато Винсенн, а затем доставить на дальнюю границу в Порт-де-Бойсин около Шанбери в Савойе. Там его бросили на другую сторону границы, как посылку.
Это событие вызвало сенсацию. Все безгранично сочувствовали принцу, который, к сожалению, не был способен понять государственных причин. Он-то полагал, что вся непоколебимая идея высылки является результатом личной нелюбви французского короля, нарушившего каноны солидарности с равным ему королем. Оттого-то Людовик так унизительно пошел на поводу у британцев.
Последовавшие годы оказались мрачными для Чарльза Эдуарда. После своего изгнания из страны он перебрался в папское владение на территории Авиньона, а затем в Венецию. Но принц обнаружил, что его присутствие там нежелательно. В начале 1750-х гг. он вел сумрачное существование, перебираясь из тайных мест в Париже на более или менее официальное место жительства в Люневиле, а позднее — в Льеже (Бельгия). Пришлось вечно странствовать и менять жилище, чтобы сбить с пути британских шпионов и возможных наемных убийц.
Принц даже провел два несчастливых года в Швейцарии до того, как остановился на отдых в Булони. В течение тех лет он даже нанес дерзкий визит инкогнито в Лондон, где планировал еще одно восстание. Оно должно было начаться одновременно в Лондоне и в северо-западном Хайленде Шотландии. После полного провала этого предприятия, известного в истории как заговор Элибэнка, принц решил пригласить свою бывшую любовницу Клементину Уокиншоу жить вместе с ним. Это решение привело в оцепенение его сторонников на основании двух главных причин. Так как у Клементины имелся другой любовник после принца, ее считали неподходящей партнершей для него. Его сотоварищи яростно возражали, называя ее распутной женщиной.
Имелись и более серьезные основания. Сестра Клементины была фрейлиной при дворе Георга II. Нашлись и те, кто говорил, будто английские мастера шпионажа приставили к принцу мисс Уокиншоу, чтобы та могла докладывать о каждом его передвижении. Группа английских якобитов настаивала, чтобы он освободился от нее, иначе они не могут считать его своим лидером.
Но принц, оставаясь упрямым, не понимая всех тонкостей политики, а к тому времени уже много пьющий, отреагировал на это вполне разумное требование (хотя, возможно и неуместное), заняв твердую позицию. Он заявил, что «и кошку не выбросит ради удовольствия этих людей».
Чарльз Эдуард, к сожалению, всегда занимал такую линию, что любой совет с добрыми намерениями из любого источника, если он не совпадал с его собственными желаниями и намерениями, означал для принца: посторонние люди пытаются навязать ему свою волю. Ссылка на «этих людей» была особенно неудачной, так как они (английские якобиты) были его единственным источником денег и средств к существованию, пока он был беженцем инкогнито от английского возмездия.
Еще со времени Мононгахелы и вероятности развязывания общей европейской войны в ближайшее время, французы и якобиты сотрудничали, чтобы разобраться в том, как можно согласовать их взаимные интересы в мировом вооруженном столкновении между Британией и Францией. Существовала одна проблема, перекрывающая все остальное. Разгром 1745 г. оставил принца как с чувством глубочайшего неудовлетворения Францией, так и с убеждением, что он больше никогда никого не будет подстрекать к восстанию в Шотландии. Именно шотландцы предали его в Дерби, когда полная победа уже оказалась почти что у него в руках. Ему было совершенно понятно, что так называемые английские сторонники выступят открыто только в том случае, когда они смогут сделать это в полной безопасности. А это предполагало только лишь высадку французской армии и триумф французского оружия.
Принц еще с 1747 г. всегда оставался непоколебимым в решении вернуться на Британские острова, но только во главе огромных экспедиционных сил. Французы, со своей стороны, хотели использовать Чарльза Эдуарда в качестве громоотвода на периметре событий, чтобы связать британские дивизии и заставить англичан теряться в догадках. Они предлагали неоднократно отправить с ним обратно в Шотландию небольшую армию. Но принц всякий раз отказывался на том основании, что французы хотят просто использовать его «как пугало».
В 1756 г. маршал Бель-Иль нанес визит принцу в Булони и уговаривал его принять командование французской экспедицией на Минорку (эту операцию под конец успешно возглавил герцог Ришелье). Чарльз Эдуард не проявил интереса ни к одному из этих проектов. Местом назначения должна быть только Англия, французам необходимо серьезно отнестись к этому и предоставить неопровержимые доказательства серьезности своих намерений.
Начиная с 1756 г. принц и его адъютанты усердно лоббировали министров в Версале. К сожалению, делали они это крайне бессистемно и неразумно. На службе у Чарльза Эдуарда не было человека выдающегося ума, у которого имелось бы хорошо развито политическое чутье, позволяющее разобраться во всех тонкостях лабиринтов интриг, создающихся альянсов и сменяющих друг друга персонажей в министерствах.
Принц использовал ряд агентов, деятельность которых пересекалась, а они сами противоречили себе, были абсурдны и крайне несостоятельны. Политический талант Чарльза Эдуарда был настолько ничтожен, что он часто одновременно действовал через таких агентов-министров и придворных, которые оказывались в смертельной вражде друг с другом. При любом, даже самом большом воображении, они вообще не могли проводить общую политику.
В различные периоды после 1755 г. он использовал различных людей. Среди них — граф де Лалли (до тех пор, пока он не отправился командовать французскими армиями в Индии), развратный бывший священник англиканской церкви по имени Джордж Келли, которого ненавидели и презирали все, и французы, и якобиты (но не принц), Джордж Уотерс, наследник банковского дела, базирующегося в Париже, дискредитированный Александр Мюррей из Элибэнка, который дал свое имя преждевременно закончившемуся заговору «Элибэнк», ирландский мошенник и распутник Роберт Маккарти, которому исполнился уже семьдесят один год, пятый граф Кланкарти. Не удовлетворяясь этим, Чарльз Эдуард также использовал на всякий случай французско-ирландских братьев О'Хёгарти, своих собратьев по франкмасонству. Пьер Андре О'Хёгарти (младший) был человеком почтительным, но старший брат, Доминик, граф де Маньер, оказался подобен разболтанной огнедышащей пушке. Также принц пользовался услугами бригадного генерала французской кавалерии маркиза де Турнеля и Антуана Уэлша, франко-ирландского судовладельца, который помогал принцу еще в 1745 г.