Скачки были давним пристрастием Орлова. Со свойственным графу деловым подходом он сумел превратить это азартное зрелище в особую отрасль своего московского хозяйства. Во время военных действий в Средиземном море он задумался о создании собственного конного завода. Из Египта ему привезли 30 жеребцов и 9 кобыл, еще больше лошадей удалось приобрести в Англии. Граф не постоял за ценой, но стремился забрать лучшее. Потянулись долгие годы селекционных работ, поскольку Алексей поставил целью вывести совершенно новую породу рысистой лошади, годную для природных условий России. По мысли Орлова, быстроту и благородство внешнего вида арабского скакуна необходимо было соединить с выносливостью и статью фрисландских рысаков. Граф выписал для своего завода специалистов из Германии и Англии. Они занялись обучением русских конюхов, превращая их в классных тренеров и жокеев.
Селекция новой породы заняла в жизни Алексея Григорьевича то место, которое некогда отводилось службе. Это не было развлечением скучающего отставного вельможи, но настоящим делом, которое могло принести не меньшую пользу, чем военный рейд в Архипелаг. С 1785 г. граф завел в Москве публичные скачки на призы. Бега завораживали зрителей, изысканная красота лошадей, выведением которых занимался Орлов, не могла не восхищать, щедрость призов, раздаваемых графом, даже если победу одерживали не его лошади, заставляла говорить о нем, как о человеке справедливом и бескорыстно увлеченном своим делом. Словом, Алексею удалось купить сердца москвичей. Но это было еще не все.
Для возвращения в большую политику Алексей нуждался в поддержке реальной силы, он должен был войти в ряды московской оппозиции правительству и из общего любимца превратиться в признанного руководителя общественного мнения Первопрестольной.
Между тем именно в это время по возрождающейся репутации Орловых был нанесен мощный удар. И не врагом или политическим соперником, а самим Григорием Григорьевичем, который в феврале 1777 г. женился на собственной двоюродной сестре Е. Н. Зиновьевой. Браки в такой степени родства считались кровосмесительными и отвергались церковью. Венчание Г. Г. Орлова вызвало скандал в Петербурге и бурю возмущения московского общества. На заседании Государственного Совета было решено расторгнуть брак и обоих постричь в монастырь. Екатерина II отказалась подписать решение Совета, пожаловала Зиновьеву статс-дамой и послала к ней ленту св. Екатерины. Петербургское общество вынуждено было замолчать. Чего нельзя сказать о московском. Когда покинувшие столицу молодые по пути в деревню проезжали Москву, толпы возмущенных горожан бросали вслед их карете камни и грязь.
А что же братья? Они не приняли брака Григория Григорьевича. Впервые знаменитая дружба Орловых, вошедшая в поговорку, дала трещину. На свадебном торжестве в деревне 5 июля 1777 г. никто из четверых не присутствовал. (Показательно, что в истории со свадьбой Григория Алексей остался на стороне традиционно мыслящих кругов московского дворянства. Он уже приобрел в этом обществе заметное место и не намерен был подвергать себя новой волне осуждения, поддерживая брата). Поступок Григория бросил тень и на остальную семью. Споры и сплетни не утихали в старой столице, поэтому в 1780 г. Алексей предпочел совершить недолгий вояж по немецким землям.
Эта поездка стала для Орлова еще одной попыткой вернуться к политической деятельности. В 1780 г. происходит сближение между Петербургом и Веной и намечается заключение союзного договора. Инициатором такого альянса был Потемкин. Противниками союза с Австрией выступили не только приверженцы прусской партии Панина, но и такие крупные государственные деятели, такие как П. А. Румянцев и А. Г. Орлов, которые низко оценивали военные возможности «цесарцев». Впервые Алексей оказался заодно со своими злейшими врагами — Паниными. Его «частная» заграничная поездка, встречи и консультации с прусскими дипломатами были направленны против сближения России и Австрии.
Миссия Орлова не принесла успеха. Несмотря на серьезное противоборство, союз между Екатериной II и Иосифом II состоялся. Однако поездка имела другое, более важное для жизни Алексея значение. Граф стал задумываться о необходимости завести собственную семью. Ему было уже 45 лет, несметные богатства, могли обеспечить безбедное существование целой когорте маленьких «орлят». Но сама мысль о браке долгие годы была ему противна после знаменитой истории с похищением Таракановой, которую Алексей завлек на корабль именно под предлогом венчания.
Сказать, что у Орлова совсем не было семьи, было бы не правдой. В Москву он привез своего «воспитанника» Александра, которого многие среди публики считали ребенком несчастной княжны Таракановой. Алексей Григорьевич не знал, что его пленница умерла от чахотки в Петропавловской крепости через два месяца после прибытия в Россию. Смутные московские слухи донесли до него известие, что примерно в то же время, когда он вез самозванку в Петербург, из северной столицы в Москву тайно прибыла женщина, постригшаяся в Ивановском монастыре под именем инокини Досифеи. Она приняла строгий обет молчания, ее почти никто не видел, содержалась необычная монахиня самым лучшим образом, ей привозили много книг, но общаться Досифея могла лишь со своим духовником и настоятельницей. Неудивительно, что Алексей увидел в этой затворнице обманутую им жертву и, по одной из московских легенд, старался никогда не проезжать мимо стен Ивановского монастыря.
Семейные предания рода Разумовских говорят, что Досифея была дочерью императрицы Елизаветы и Алексея Григорьевича Разумовского, до того тихо проживавшей в одном из поместий на Украине и не помышлявшей о короне. Ее спешно привезли в Петербург, и после долгой беседы с глазу на глаз с Екатериной II она приняла решение постричься в монахини, чтоб ее имя не стало причиной новых возмущений в России. Достоверно из всей этой таинственной истории известен только один факт: когда в 1810 г. Досифея скончалась, на ее похороны собралось все многочисленное семейство Разумовских.
Время постепенно тушило самые неприятные слухи вокруг имени Алексея. Наконец, в 1782 г. он решился. Граф посватался к Евдокии Николаевне Лопухиной, одной из самых красивых и богатых невест Москвы, которой шел 21 год и… получил согласие. Тот факт, что представители старинного дворянского семейства, находившиеся в родстве с императорской фамилией, согласились выдать одну из девиц Лопухиных за незнатного, хотя и очень богатого Алексея, показывает, как высоко ставили графа в московском обществе в начале 80-х гг. 6 мая 1782 г. он венчался в своем подмосковном селе Острове с Лопухиной. На свадьбу была приглашена вся знать старой столицы. Евдокия Николаевна, по свидетельствам современников, отличалась добродушным и приветливым нравом и была очень набожна.
Алексей, в отличие от своего брата Григория, вовсе не слыл волокитой и сердцеедом, хотя всегда нравился женщинам. Судя по его портретам, он не был красив лицом, но стать, удаль и необыкновенное обаяние делали Алексея Григорьевича неотразимым. Только через три года у Орловых родилась дочь Анна. «Я не считаю его особенно способным воспитывать девочек, — писала по этому поводу Екатерина II доктору Циммерману, — поэтому желала ему сына». Императрица ошибалась. Трудно себе представить, что в этом хладнокровном, порой жестоком человеке найдется столько нежности и ласки для маленького беззащитного существа, вскоре оставшегося без матери. В августе следующего 1786 г. после тяжелых вторых родов умерла Евдокия Николаевна. Память маленькой Нинушки, как Алексей называл дочь, не сохранила образа матери, но в доме ее имя было овеяно таким почитанием, что, повзрослев, Анна Алексеевна всегда подчеркивала свое особое расположение к материнской родне.
Летом 1787 г. началась вторая русско-турецкая война, и перед овдовевшим Алексеем вновь замаячил призрак возвращения к государственным делам. В Москве его ничто не удерживало, кроме грустных воспоминаний. Императрица звала графа в столицу, т. к. намеревалась назначить командующим формируемой на Балтике новой эскадры, которая, по мысли Екатерины, должна была повторить рейд в Архипелаг. И тут интересы самого Орлова пришли в столкновение с интересами московских оппозиционных кругов, поддержки которых он так долго добивался. В Москве новая война на юге была крайне непопулярной, присоединение Крыма в 1783 г. тоже не вызвало здесь восторга. Один из самых ярких вождей правой дворянской оппозиции правительству князь М. М. Щербатов в своем выступлении в Дворянском собрании Москвы открыто обвинил императрицу и Потемкина в разжигании конфликта с Турцией. Деньги, потраченные на освоение новых южных земель, строительство там городов и создание флота назывались выброшенными на ветер. Ту же мысль высказывал и Алексей, забывая, что прежде, когда власть находилась у него в руках, он был самым твердым сторонником активной внешней политики России именно на юге и составлял проекты, касавшиеся возмущения греческого населения турецких владений и захвата Константинополя.