Естественно, у него, эстета и ценителя женской красоты, были любовницы, отличавшиеся особенной красотой, в основном из числа придворных дам и девиц. При дворе называли его фавориткой то княжну Александру Долгорукую, то Лабунскую, то Замятину, то Макарову, то Ванду Кароцци, то Макову. Все они были отменно красивы, но струн сердца императора не задевали, и он менял своих любовниц одну за другой. От этих связей были и дети. Считается, что одним из внебрачных детей Александра II был адмирал Евгений Иванович Алексеев — видный военно-морской деятель начала XX века, наместник на Дальнем Востоке, один из инициаторов войны 1905 года с Японией, окончившейся для России поражением.
На основе мемуаров княгини Марии Клавдиевны Тенишевой, где она довольно туманно, но намекает на своё происхождение от Александра II, можно считать внебрачной дочерью императора и её, необычайно энергичную и талантливую собирательницу, благотворительницу, художницу, искусствоведа и этнографа, создавшую музей «Русская старина» в Смоленске, художественную школу для крестьянских детей во Флёнове, представлявшую в Париже во время Русских сезонов русское народное искусство.
Несмотря на калейдоскоп увлечений, да еще и осложнённый внебрачными детьми, Александр II не испытывал чувства удовлетворённости: он искал настоящей любви.
Государь император любил в свободное время гулять в Летнем саду, и однажды (это было весной 1865 года) публика заметила среди прогуливающихся рядом с ним необыкновенно красивую и грациозную девушку с большими лучистыми глазами, сопровождаемую элегантной дамой. Обе они были модно и с отменным вкусом одеты. Оказалось, что Александр Николаевич давно знаком и с этой девушкой, и с её бонной — фрейлиной Варварой Шебеко. Это была княжна Екатерина Михайловна Долгорукова, которая вместе со своей сестрой училась в Смольном институте и которую император знал еще маленькой девочкой. Летом 1857 года он проводил большие манёвры под Полтавой и останавливался в имении её отца — князя Михаила Михайловича Долгорукого. Там он и увидел впервые девятилетнюю Катеньку, которая поразила его грациозностью, скромностью, непосредственностью и особенной какой-то ласковостью. Император подружился с Долгоруковыми, князем Михаилом и его женой княгиней Верой, а через несколько лет узнал., что, будучи людьми непрактичными, они разорились. Их усадьба несколько раз была описана кредиторами. Княгиня Вера Долгорукова продала всё своё золото и бриллианты, но смогла уплатить только проценты, чем на время спасла своё имение Тепловку от публичной продажи с молотка. Проведённая императором Александром II реформа 1861 года губительным образом сказалась на их благосостоянии. А в довершение всех несчастий сгорел их большой и богатый дом, в котором в 1857 году останавливался император Александр II. Несмотря на протесты мужа, княгиня Вера обратилась к государю с письмом, в котором рассказала о всех постигших семью несчастьях. Александр Николаевич счёл необходимым помочь семье, которую он знал давно, и распорядился четверых мальчиков Долгоруковых определить в кадетские корпуса Санкт-Петербурга за казённый счёт, а Катеньку и её сестричку Машеньку — в Смольный институт благородных девиц на тех же условиях. Кроме того, он остановил претензии банка к Долгоруковым, чем спас семью от окончательного разорения.
Сердце князя Михаила Михайловича, перенесшего столько несчастий, не выдержало, и он покинул сей свет, оставив вдову в одиночестве. Княгиня Вера переехала в Петербург, сняла маленькую квартирку и жила там на скромные средства дорогими для неё посещениями по воскресеньям то своих сыновей в кадетском корпусе, то своих дочерей в Смольном институте, радуясь достижениям в военном деле своих мальчиков и успехам своих девочек, стремившихся стать первыми в своих классах.
Сёстры Катенька и Машенька, обе красивые девочки, не были похожи друг на друга. По воспоминаниям современников, Машенька была шатенка с нежной кожей лица цвета слоновой кости. А Катенька была яркой блондинкой с «лилейным» цветом лица.
Для «смолянок» самыми радостными событиями были посещения родных в родительский день и «царские дни», когда в Смольный приезжали император или императрица, когда устраивался роскошный обед и все девочки получали подарки. Перед встречей с Екатериной Долгоруковой в Летнем саду Александр II приезжал, в Смольный в Вербное воскресенье, где ему были представлены начальницей Леонтьевой все преподаватели, наставницы и воспитанницы старших классов. Среди последних он сразу узнал сестёр Долгоруковых, семье которых он покровительствовал. Особенно ему понравилась Катенька, и он просил фрейлину Варвару Шебеко, её бонну, приводить свою подопечную на прогулки в Летний сад.
Встреча в Летнем саду с восемнадцатилетней Екатериной Долгоруковой нарушила сердечный покой императора. Он влюбился в неё, как юный мальчишка.
Беседы с Екатериной Долгоруковой во время прогулок, её свежесть молодости, лучистые глаза, румянец во всю щеку, а главное — полное равнодушие к его высокому статусу, а только робость и стеснённость общения с ним — всё покорило императора, и он стал встречаться с ней сначала в Летнем саду, затем, видя, что на них обращают внимание, — на Елагинском, Крестовском или Каменном островах, всё более и более очаровываясь ею. Их отношения были романтическими и платоническими, хотя влюблённый Александр Николаевич мечтал о настоящей близости. И он стал завоёвывать чистую душу Катеньки Долгоруковой, пока еще остававшейся в стенах Смольного института. С этой целью он обратился к давнему своему другу — фрейлине Вареньке Шебеко, которая и раньше выполняла его деликатные поручения, а кроме того, была родственницей начальницы Смольного института мадам Леонтьевой. С Варенькой Шебеко он стал посылать сестрам Долгоруковым фрукты и сладости, приезжать в Смольный с визитом Однажды, когда Катенька простудилась, её положили в больницу института, в маленькую отдельную палату, Шебеко провела Александра инкогнито к больной. Конечно, Леонтьева догадывалась о происходящем, но не препятствовала развитию событий. В тот день Катенька поняла, что она очень нравится царю.
А фрейлина Шебеко по поручению Александра II поехала к княгине Вере Долгоруковой (урождённой Вишневецкой), предложила ей переселиться в приличные, уже оплаченные апартаменты, ссудила княгиню деньгами и сказала, что эта помощь исходит от императора Александра II. Она просила всё сохранить в тайне, чтобы не было пересудов в свете. Варенька Шебеко дала понять княгине, что это «счастье Вишневецких», прапрадед которых, полковник Вишневецкий, привёз ко двору императрицы Анны Иоанновны голосистого пастушка Алёшу Розума, ставшего впоследствии графом Алексеем Григорьевичем Разумовским, фаворитом, а затем и мужем императрицы Елизаветы Петровны. Из всего ей сказанного княгиня Вера поняла только одно, что государю очень нравится её дочь Екатерина.
Александру II в то время было уже за 50, но он не утратил ещё ни своей мужской формы, ни красоты. Теофиль Готье, французский поэт, оставил нам описание его внешности: «Волосы государя были коротко стрижены и хорошо обрамляли высокий и красивый лоб. Черты лица изумительно правильны и кажутся высеченными скульптором Голубые глаза особенно выделяются благодаря коричневому тону лица, обветренного во время долгих путешествий. Очертания рта так тонки и определенны, что напоминают греческую скульптуру. Выражение лица величественно-спокойное и мягкое, время от времени украшается милостивой улыбкой». Живописные портреты Александра II подтверждают это описание Готье.
Княжна Долгорукова, хоть и была моложе Александра более чем на четверть века, не могла не увлечься этим красивым мужчиной, так нежно к ней относящимся, разделяющим с ней и романтическое влечение любви, и жизненные заботы. Однако между влюблёнными стояла большая и почти непреодолимая проблема, и прежде всего — разность социального положения.
Княжна Екатерина Михайловна Долгорукова (1847–1922) была из древнейшего княжескою рода Долгоруких (Долгоруковых), известного своей близостью к великокняжеским и царским родам и своими предками: например, Юрием Долгоруким — основателем Москвы; Екатериной Алексеевной Долгоруковой, невестой императора Петра II, её братом, фаворитом Петра II Иваном Долгоруковым, четвертованным за подделку завещания императора, его женой Натальей Борисовной Долгоруковой, дочерью Бориса Петровича Шереметева, известного полководца петровских времен; княжной Марией Владимировной Долгоруковой, первой женой царя Михаила Феодоровича Романова; генерал-фельдмаршалом князем Василием Михайловичем Долгоруким-Крымским, известным своими победами, и многими другими представителями, славными своими делами, особенно на пользу Отечества.