Многие из соприкасавшихся с Аракчеевым на службе представляли его человеком, не способным воодушевляться патриотическими чувствами. «Можно сказать, — утверждал в своих записках генерал-адъютант Е. Ф. Комаровский, — что душа и чувства графа Аракчеева были совершенного царедворца и чужды любви к отечеству». Генерал-майор С. И. Маевский отмечал в своих воспоминаниях, что «граф никогда не говорил об отечестве; он это заменял словом служба». Что ж, Аракчеев действительно старался не употреблять слово «отечество» и заменял его другим, менее возвышенным словом.
«Сказанное вами о одиночестве моем очень справедливо; и признаюсь, что свою сторону очень люблю и верю вам, любезному другу, что мне будет скучно долго оставаться за границей», — так напишет Алексей Андреевич в письме от 12 апреля 1814 года И. А. Пукалову. В одном из своих писем к Аракчееву Иван Антонович выскажет мнение, что граф слишком привязан к царскому двору. «Здесь вы, любезный друг, погрешили, сказав обо мне, что я к двору очень привык; вижу из онаго, что и умные люди иногда могут ошибаться, — ответит Аракчеев. — Знайте, любезный друг, и проверьте после мною сказанное: я двора никогда не любил, и он мне всегда был в тягость; а заблуждение мое было, признаюсь, в том, что я думал, будто честный человек может делать общую пользу. Оно может быть и возможное дело, но в государстве маленьком, а в нашем пространном колоссе оное есть заблуждение… Поверьте же мне, что я могу жить очень спокойно один и никогда не поскучав, что давно не обедал при дворе; ибо кто чист сердцем и душею, тот всегда доволен будет».
Алексей Андреевич был искренен в этих своих признаниях. Он действительно чувствовал себя очень и очень неуютно при царском дворе в окружении разных знатных господ, в большинстве своем настроенных к нему враждебно. Если где и был он на своем месте, если где имел отдохновение, так это у себя в Грузине. Оттого и устремлялся туда всякий раз, когда обстоятельства позволяли. Брал с собою адъютантов с фельдъегерями и занимался в Грузине своими служебными делами, работая днями напролет, плодотворно и неустанно. Там же принимал и разных просителей и подчиненных по службе. Те, кто посещал графа в Грузине, впоследствии говорили, что в своем имении он был не таким, каким доводилось им знать его в Петербурге.
Отъезд из Санкт-Петербурга в апреле 1812 года выбил Аракчеева из привычной жизненной колеи, он остался практически без дела и в таком состоянии принужден был находиться два месяца.
О переходе наполеоновской армией Немана граф узнал вечером 12 июня, будучи в Вильно. Здесь же пребывал и государь император. Его Величество развлекался балом, когда ему принесли весть о начале войны России с Францией. 14 июня Алексей Андреевич выехал с Александром в Свенцяны. А 16 июня в Вильно был уже Наполеон со своим штабом. Обосновался французский император в том же самом дворце и в тех же комнатах, где прежде располагался император Александр. Здесь он принял генерал-адъютанта Балашова, посланного к нему российским государем с письмом еще вечером 13 июня. В своем письме самодержец российский заявлял императору-завоевателю, что вступит с ним в переговоры только при условии, что французская армия отойдет за границу. Александр обещал Наполеону, что не скажет ему и не выслушает от него ни одного слова о мире до тех пор, пока хоть один вооруженный француз будет оставаться в пределах России.
Возможно, только по прочтении этого письма, то есть лишь на четвертый день своего пребывания на российской земле, хозяин Европы понял, что война ему предстоит не в пример прежним — долгая и трудная. И не «польская» она будет, как назвал он ее в своем воззвании к армии, а самая что ни на есть русская.
— Какая дорога в Москву? — спросил между прочим Наполеон в разговоре с Балашовым.
— Ваше величество, — отвечал посланник российского императора, — этот вопрос меня немного затрудняет: русские говорят так же, как и французы, что все дороги ведут в Рим. Дорогу на Москву избирают по желанию: Карл XII шел через Полтаву.
После того, как Наполеон и Александр обменялись письмами, дальнейший ход войны России с Францией совершенно определился.
Начиная с 17 июня определенной стала и участь графа Аракчеева. Вот как сам он писал о произошедшем с ним в этот день событии: «Июня 17-го дня, 1812 года в городе Свенцянах призвал меня Государь к себе и просил, чтобы я опять вступил в управление военных дел, и с онаго числа вся Французская война шла через мои руки, все тайные донесения и собственноручные повеления Государя Императора». Аракчеев был назначен управляющим канцелярией императора Александра. (7 декабря 1812 года этому учреждению будет присвоено официальное наименование «Собственная Его Императорского Величества канцелярия». Граф Аракчеев будет управлять ей до 19 декабря 1825 года.)
Отступление русских войск между тем продолжалось. В начале июля стало ясно, что без народного ополчения и пожертвований финансовых средств населением врага не одолеть. Состоявшие в свите Его Величества генерал-адъютант А. Д. Балашов и государственный секретарь А. С. Шишков пришли к мнению, что в сей критический момент российскому императору лучше всего покинуть армию и ехать из Полоцка, где он пребывал, в Москву, с тем чтобы там непосредственно обратиться к обществу за поддержкой. Но как было предложить Александру такое? Балашов с Шишковым решили прибегнуть к помощи Аракчеева. Они предложили графу упросить государя оставить армию, сказав, что этот государев поступок необходим для спасения Отечества. Е. Ф. Комаровский отмечал впоследствии в своих записках, ссылаясь на свидетельства Балашова и Шишкова, что Аракчеев в ответ на это предложение раздраженно бросил: «Что мне до отечества! Скажите мне, не в опасности ли государь, оставаясь при армии?» — «Конечно, — отвечали ему, — ибо если Наполеон атакует нашу армию и разобьет ее, что тогда будет с государем? А если он победит Барклая, то беда еще не великая». С приведенным доводом Аракчеев согласился и вечером 5 июля занес в государеву спальню и положил на столик составленное А. С. Шишковым письмо, в котором содержалась просьба к Александру покинуть армию.
Просьба эта больно била по самолюбию Александра. Государь опасался и разных кривотолков, которые мог вызвать в обществе его отъезд из армии. Целую ночь и еще день размышлял он над письмом, предусмотрительно положенным Аракчеевым на его ночной столик, и к вечеру 6 июля принял тяжкое для себя решение — оставить армию.
Опасения Александра оказались не напрасными: отъезд его из действующей армии многие отнесли именно на счет его трусости. И даже княгиня Екатерина Павловна усомнилась в личной храбрости своего венценосного братца. Александр вынужден был оправдываться перед ней.
«Признаюсь, дорогой друг, — обращался он к самой любимой из своих сестер, — мне еще тяжелее касаться этого, и я полагал, что моя честь, в ваших по крайней мере глазах, не запятнана. Я не могу даже поверить, что вы говорили в своем письме о той личной храбрости, которую может проявить всякий рядовой солдат и которой я не придаю никакого значения. Впрочем, коль скоро мне уже приходится, к стыду своему, коснуться этого вопроса, я скажу, что гренадеры Малороссийского и Киевского полков могут удостоверить, что я умею держать себя в огне так же спокойно, как всякий иной. Повторяю, я не могу поверить, чтобы вы говорили в своем письме об этой храбрости; я думаю, вы имели в виду нравственное мужество: единственно чему может придавать значение человек с высшим призванием… Принеся свое личное самолюбие в жертву общему благу и уехав из армии вследствие толков о том, что я приносил ей вред своим присутствием, что я избавлял генералов от всякой ответственности, что я не внушал войскам никакого доверия, наконец, что поражения, которые приписывались мне, могли быть прискорбнее тех, которые приписывались моим генералам, посудите сами, друг мой, как мне должно быть тяжело слышать, что моя честь подвергается нападкам, тогда как, уехав из армии, я сделал только то, что от меня хотели, тогда как я сам ничего так не желал, как остаться в армии».