Весной 1795 года Грибоедовы вынужденно выехали из дома Шушириной, которая занялась перестройкой его деревянных корпусов. На лето они поселились в Тимиреве, да так и остались там до 1800 года. Детям деревенская жизнь была полезна, но Настасья Федоровна ею тяготилась. Однако делать было нечего, средства совсем не позволяли ей переехать в город. К 1798 году от ее приданого осталось едва шестьдесят душ. Этого могло хватить для простой жизни в провинции, но о Москве приходилось забыть. Сергей Иванович, растратив приданое жены, совсем перестал оказывать ей внимание, а только играл и пил. Грибоедова попробовала прибегнуть к помощи брата, желая найти мужу полезное занятие и тем удержать во Владимире. Ее супруг ни в чем не принимал участия, ни разу не был даже на дворянских выборах, всякий раз отсылая положенный послужной список и всякий раз отказываясь приехать в собрание под предлогом болезни. Так и в декабре 1799 года он сказался больным и не прибыл на очередные выборы, что не помешало ему в январе укатить в Москву, несмотря на тяжелую болезнь отца. Но в его отсутствие Алексей Федорович, по тайному сговору с давним своим приятелем и сослуживцем Павлом Степановичем Руничем, бывшим тогда владимирским губернатором, убедил губернское дворянство избрать зятя в депутатское собрание — причем от Вязниковской округи, где тот никогда не бывал и поместий не имел. После разгульного времяпрепровождения в Москве, где он дни и ночи играл в банк, Сергей Иванович вернулся во Владимир и был неприятно поражен тяжким состоянием отца и приказом губернатора немедленно явиться для исправления должности.
Но Грибоедов был, когда хотел, тверд. Тотчас он послал в собрание записку, настаивая на своей болезни и требуя врачебного освидетельствования. Присланного врача владимирской управы Невианда он убедил найти у него серьезное недомогание, и тот показал, что Грибоедов «по застарелой цинготной болезни не только оной, но и никакой другой должности исправлять не может». Лекарь едва ли сумел бы объяснить, как можно довести себя до цинги, тем более «застарелой», не на корабле в кругосветном плавании, не в голодном крае, а в сельской России, на простой и здоровой пище. Но опровергать его диагноза не стали, съесть несколько лимонов Грибоедову не посоветовали, а просто махнули на него рукой, от должности отстранили, и впредь семья и друзья его жены о нем не думали и никогда не поминали.
Единственным утешением Настасье Федоровне было общение с сестрой Лачиновой, небогато жившей во Владимире и родившей в 1795 году дочь Варвару. Сестры не смогли даже побывать на свадьбе брата, после нескольких лет рассеянной жизни женившегося вновь — на соседке, Анастасии Семеновне Нарышкиной.
Женившись на Нарышкиной, Алексей Федорович попал в очень знатное семейство. Нарышкины были в родстве с царями, а отец Анастасии Семен Васильевич и ее дядя Алексей Васильевич пользовались расположением покойной императрицы. Оба были не только богаты и в высоких чинах, но превосходно образованы, писали стихи. Во время путешествия Екатерины по Волге, когда государыня со свитою взялась от скуки переводить роман Мармонтеля «Велисарий», Алексей Васильевич перевел две его главы. Позже он стал членом Императорской российской академии. У него детей не было, а дочери Семена Васильевича получили лучшее воспитание, говорили по-французски и итальянски, могли читать по-немецки и даже по-английски, пели и музицировали. Анастасия Семеновна внесла в московскую семью Грибоедовых петербургский великосветский тон, который немного задевал сестер Алексея Федоровича.
В первый год после свадьбы Алексей Федорович привез молодую жену в Хмелиты и остался там на зиму, поскольку своего дома в Москве теперь не имел, снимать не хотел, а купить или уехать на сезон в Петербург не мог — его начинали донимать кредиторы. Приходилось изворачиваться, перезакладывать деревни, выжимать деньги с оброчных крестьян. Наследство, доставшееся ему от отца, было значительно уменьшено выплатой приданого сестрам. Долги же, как и расходы, выросли. Но не только долги удерживали Алексея Федоровича в провинции. На престол в 1796 году взошел император Павел — и жизнь дворян перестала доставлять им удовольствие. Как ни печален был закат екатерининского царствования, но с восшествием Павла о его матери вспоминали со скорбью. Все вольности дворян новый монарх отменил. В Петербурге положительно невозможно стало находиться. Велено было, при встрече с каретой императора, выходить из экипажа, несмотря ни на какую грязь, и низко кланяться по этикету. Только дамам позволялось кланяться с подножки. Не то плохо, что грязно, но как-то унизительно это выходило. В Москве были другие печали: император приказал закрыть Английский клуб, словно рассадник якобинства, и карточная игра переместилась в частные дома и велась почти тайком. Даже в деревню проникало всевидящее царское око. Отныне на спектаклях домашних театров — даже благородных — обязательно требовалось присутствие полицейского пристава для наблюдения за благонадежностью. И скрыться было некуда: за границу выезжать запретили, даже книги запретили ввозить. И если случайно доходили до дам сведения о новых французских и английских модах, оставалось только расстраиваться: моды Павел тоже запретил под угрозой ссылки в Сибирь.
Алексей Федорович предпочел выйти в отставку, несмотря на незавидный чин коллежского советника, и отсидеться в деревне, надеясь на лучшие времена. Но его жена никак не хотела смириться с деревенским прозябанием. Зимние развлечения ее не забавляли, охотой она не интересовалась, а театр муж пока закрыл. В марте 1799 года Анастасия Семеновна родила первенца Семена, умершего во младенчестве, и поклялась, что ноги ее больше не будет в Хмелитах.
Летом Алексей Федорович получил известие о смерти своей тетки, сестры отца, А. А. Волынской. Она никогда не любила племянника и племянниц, хотя своих детей у нее не было, и в завещании совсем их обошла, отказав только «святые образа», а все свое имение и прекрасный дом в Москве завещала родне по мужу. Алексей Федорович очень оскорбился такой несправедливостью, для него неприятной, и начал с Волынскими тяжбу, приведшую к разделу: имение осталось все ж таки за ними, но дом на Пресне передали Грибоедову.
В августе следующего года скончался Алексей Васильевич Нарышкин, и его большое состояние, включавшее два дома в Москве, перешло к племянницам. Сестры полюбовно разделили наследство, и у Грибоедова внезапно оказалось два особняка в столице. В нарышкинском он поселился сам с семьей, а тетушкин дом передал по купчей сестре Настасье Федоровне, минуя ее мужа. Отныне вся многочисленная семья Грибоедовых могла проводить зимы в Москве в собственном жилье, а на лето уезжать в Хмелиты, куда, однако, Анастасия Семеновна, держа клятву, никогда не являлась, а проводила время у родных в деревне или в Петербурге.
Рубеж веков оказался богат смертями. Умер и Иван Никифорович Грибоедов. По разделу с матерью и братом Сергею Ивановичу досталось семьдесят три души в сельце Федоркове и часть сельца Сущево, которую он по просьбе жены продал Наталье Федоровне Лачиновой. На вырученные деньги он выкупил часть Федоркова, которой владел майор Зверев, и получил всю деревню целиком. Теперь благополучие Грибоедовых несколько восстановилось. Помимо Федоркова и Тимирева, лично им принадлежавших, они приобрели на деньги Прасковьи Васильевны два десятка крепостных в разных деревнях, записав их на имя детей. Маленькому Александру бабка продала (дав денег на покупку) свое родовое сельцо Сушнево, доставшееся ей от отца, со всеми угодьями. Ребенок был так мал, что еще не мог даже расписаться на купчей «за неумением грамоте», и за него расписался дядя по отцу — Е. И. Палицын.
Жизнь семьи устроилась. Устроилась и жизнь России. В марте 1801 года объявлено было потрясающее известие о внезапной кончине императора. Подробности происшедшего передавались по-всякому и негромко, но ими не так уж интересовались. Радости не было предела. Уже после, многие годы спустя, о Павле I начали судить взвешеннее, понимая, что не все было дурно в его кратком и несчастливом правлении. Но в те мартовские дни никто не сожалел о его судьбе, даже придворные, даже семейство публично выражали чувство избавления от страха и счастье от возврата к екатерининским порядкам.