Алексей Андреевич после этого в свою очередь окончательно разочаровался в способности русских быть хорошей прислугой и держать дом в порядке. Во время заграничного вояжа и некоторое время по возвращении из него у графа был камердинером немец Тепфер, который затем перебрался в Ригу. К нему и обратился Аракчеев за помощью: «Вы, кажется, знаете ныне мой характер и образ моей жизни, то не сыщите ли хорошаго, добраго старичка немца, женатого, быть у меня дворецким с женою и управлять кухнею, чем бы вы мне сделали услугу, за которую я бы был благодарен; но оной человек должен от вас предуведомлен быть о моей аккуратной жизни, и который бы решился на деревенскую уединенную жизнь и не любил бы хмельного. Тогда бы он нашел во мне к себе хорошо расположенного хозяина; но знал бы о моем мнительном характере, с которым должно ласково обходиться. Таковой бы человек нашел у меня во всю жизнь покойное убежище».

Тепфер не смог выполнить просьбу Аракчеева. Впоследствии с помощью доктора Миллера граф нашел себе экономку, родом из Финляндии, Анну Карловну Никандер. Но эта женщина, лет примерно сорока, осмотрев хозяйство Аракчеева, заявила, что она по возрасту своему не сможет с ним управиться, однако знает женщину из Мемеля, которая вполне способна будет это сделать. Новая экономка, Каролина Розенберг, продержалась в Грузине всего два месяца. После нее Алексей Андреевич никого уже себе не искал, справедливо решив, что кроме покойной Настасьи Минкиной никто с должностью домоправительницы в Грузине справиться не в силах.

И в старости своей Аракчеев сохранял крайнюю приверженность к чистоте и порядку. Особенно не мог терпеть он пыли. И в то же время любил украшать свой дом и его окрестности цветами. Первые годы после ухода со службы граф чрезвычайно увлекался садоводством. Выписывал из-за границы семена, пытался привить и вырастить в своем саду небывалые для данной местности растения.

Года за два до смерти Алексей Андреевич стал сильно уставать. Поэтому отошел от садоводства. Игры в карты, чтение газет вперемежку со сном, беседы с редкими гостями, наезжавшими в Грузино, составляли его основное времяпрепровождение в это время. Дворовые почувствовали, что граф стал добрее. Он и прежде любил поощрить хорошо работавших и державших свои дома в чистоте крестьян различного рода подарками или пятачками, но теперь поощрения стали даваться им за малейшую исправность в работе — часто просто из доброго настроения. Или напротив — из плохого. Разбранив кого-либо из крестьян почем зря, граф старался как-то загладить свою вину и давал ему пятачок.

В последние годы одинокую жизнь старого Аракчеева скрашивала племянница Настасьи — Танюша. Выполняя желание покойной, он после возвращения своего из-за границы отдал Танюшу на воспитание в Новгородский Духов монастырь. Пробыв там несколько лет, девушка-сирота вернулась в Грузино. Внешним обликом она весьма напоминала свою тетку, но сердцем была много добрее. Дворовые долго потом ее вспоминали с благодарностью: «Добрая душа была Татьяна Борисовна: все нас жалела, и, как в Грузине жила, то граф как будто ласковее к нам был, потому что она за нас заступалась и просила Аракчеева, чтобы так строго людей не наказывал».

Племянница Настасьи помогала Алексею Андреевичу переносить страдания, которые причинял ему приемный сын его покойной возлюбленной — Михаил Шумский. Пьянство, которому самозабвенно предался, едва повзрослев, этот юноша, портило жизнь и ему самому, и графу. Но самым огорчительным для Аракчеева являлось то, что Шумский, которого он сердцем принял за сына, возненавидел его. Всякое проявление этой ненависти приводило Алексея Андреевича в состояние полнейшего отчаяния. «Любезный и почтенный друг Федор Остафьевич, со слезами и сокрушенным сердцем пишу сие письмо, яко некую себе отраду, — обращался он к Бухмейеру 8 февраля 1826 года, — уведомляю тебя, моего друга, дабы ты пожалел обо мне, бедном и совершенно несчастном твоем друге, и дабы ты не думал, что я здесь спокоен; нет, друг мой, Богу еще не угодно оное со мною сотворить, но Его Божия воля посещает меня вновь лютейшим страданием, от кого все мое сердце изныло. Шумский мой вновь напился до безумия, пьян, так что нет сладу: Клейнмихель и все оное видели. Легко ли мне оное переносить! Боже, Ты веси сие в моей душе. Еще это не все; я на другой день, когда ему стал выговаривать, один будучи с ним в дороге после обедни в возке, едучи из Юрьева монастыря, то он мне сказал, что он меня не любит и не хочет быть при мне ни за какие миллионы, я и оное терпел и замолчал; на третий день нахожу письмо на столе, писанное его рукою ко мне, где он решительно изъяснил свое желание бросить, оставить меня, и более лучше в Сибири, нежели жить со мною. Любезный друг, я уверен, что ты чувствуешь, каково легко было оное получить. Помолись обо мне несчастном Богу, дабы Он подкрепил меня перенести Его наказание, и вот теперь семь дней и он со мною не бывает, окроме обеденного стола, а остается все в своем мнении, дабы я его отпустил от себя, и что он со мной жить никогда не хочет. Спит еще у меня в комнате, но придет тогда, как я лягу в постель, то он ляжет и даже не только не поклонится мне, но даже не взглянет на меня. Сегодняшнюю ночь уже мои силы меня оставили, и я всю ночь не спал и стонал и охал, и он слышал все оное; не только не встал ко мне, но даже не хотел лекаря Миллера ко мне кликнуть, а завернулся в одеяло и повернулся. Любезный друг! Каково мне все оное переносить от такого человека, коего я воспитал, вывел в люди и всякий день и час об нем думал и берег его; пожалей обо мне, несчастном — это облегчит мою печаль и скорбь, ибо признался тебе, что я не показывал онаго никому, но сердце мое все изныло. Прощай, любезный друг, кланяйся достойной и почтенной Христиане Ивановне, и остаюсь несчастнейший твой на свете друг и слуга. Г. Аракчеев».

Этим невольным, как вскрик и стон, письмом Аракчеев выдал, быть может, самую главную свою тайну. Вся его зловредность, жестокость, черствость была только мундиром,за которым скрывалось чрезвычайно ранимое сердце, постоянно к кому-то привязанное, кому-то отданное… Государю ли, или просто женщине, или тому, кого принял он за сына…

А его Шумский — неприкаянная душа — метался и страдал оттого, что не знал, к кому пристать, к кому привязаться. Уходя от Аракчеева, опять к нему возвращался. В октябре 1826 года поручик Шумский был переведен за «неприличные поступки» на службу во Владикавказский гарнизонный полк. «Неприличные поступки» его, по рассказам, ходившим тогда в публике, заключались в следующем: однажды поручик Шумский пришел в театр пьяным, вместе с арбузом, который во время спектакля и стал есть, вырывая рукою мякоть. Перед ним в кресле сидел какой-то купец с лысой головой. Шумский, съев мякоть арбуза, надел ему на голову пустую оболочку и громко, на весь театр сказал: «Старичок! Вот тебе паричок!» Поднялся шум. Шутник был арестован. Утаить от императора этот возмутительный поступок офицера было невозможно. Шумский был направлен для исправления на Кавказ. По другим свидетельствам, находясь в театре, пьяный Шумский вместо того, чтобы хлопать, как все зрители, в ладоши, шлепал ладонью по лысине сидевшего впереди него генерала и кричал «браво!».

На Кавказе Шумский исправился и показал себя хорошо в боях с персидскими войсками, за что удостоился через год перевода в Ширванский пехотный полк.

В начале марта 1827 года Алексей Андреевич писал Бухмейерам из Грузина: «Приезжайте, почтенные мои друзья ради Бога, ко мне поранее летом, я вас умоляю, ради самого Господа Бога… Здесь нашел между моими начальниками брань и несогласие; но сие еще не столько бы меня огорчило, если бы был у меня друг, кому я мог бы открывать мою душу!» В этом же письме граф сообщал о новом поступке Шумского, на этот раз благом для его сиятельства. «Теперь я, почтенные мои друзья, скажу вам и то, что я был в самую страстную субботу рано поутру порадован: иду я в церковь к заутрене, мне на дороге отдают письмо из Петербурга, где я нахожу своего Мишеля письмо, писанное из Тифлиса 10 марта, на четырех страницах, весьма умное, где он не денег у меня просит, а просит моего прощения; я копию онаго вам посылаю; я очень поплакал, но и Бога поблагодарил… Я уже к нему писал еще из Бежецка 26 февраля, то я и надеялся, что он уже оное получил».