В быту Лев Николаевич склонялся к аскетизму, проповедовал вегетарианство и все более тяготился жизнью в своей многочисленной семье, где его не понимали.
Толстой женился в 1862 году на дочери московского врача Софье Андреевне Бере. Софья Андреевна была красива, умна, образованна, говорила на нескольких языках, писала рассказы и играла на пианино, кроме того, она шила, вязала и вышивала. Единственным ее недостатком было полное отсутствие чувства юмора.
У Толстых было всего тринадцать детей, из которых выжили восемь. Все дети были людьми одаренными — в живописи или литературном творчестве.
В семье Лев Николаевич был домашним тираном, хотя по-своему и любил жену и детей. Тем не менее, он директивным методом заставлял окружающих подчиняться его воле. Когда он стал вегетарианцем, поневоле вся семья перестала есть мясо, а когда он пришел к мысли отказаться от земных благ и оставил в доме лишь деревянные полки, детям пришлось смириться и с этим.
Тайно уехав из дома Лев Николаевич умер на станции Астапово, 23 ноября 1910 года.
Старшим ребенком в семье был сын Сергей. В детстве он много и с удовольствием учился под контролем отца, в 1882 году поступил на физико-математический факультет Московского университета. Окончив университет, он работал в Тульском отделении крестьянского банка, потом служил в Петербурге в Управлении крестьянского банка.
В 1895 году Сергей Львович женился на Марии Константиновне Рачинской, подруге сестры Татьяны, но расстался с ней сразу после свадебного путешествия. Они развелись после рождения сына Сергея. Женившись во второй раз — на графине Марии Николаевне Зубовой, Сергей Львович нашел свое счастье и наладил отношения с отцом, с которым ранее расходился во взглядах.
С.Л. Толстой был талантливым композитором. Он автор «Двадцати семи шотландских песен», «Бельгийской песни», «Индусских песен и танцев», а также романсов на стихи А.С. Пушкина, А.А. Фета, Ф.И. Тютчева. Сергей Львович также писал статьи. Среди его работ: «Л. Толстой и Чайковский», «Музыка в жизни Толстого», очерки о своих родных: «Мать и дед Л.Н. Толстого», «Федор Толстой — „Американец“».
После смерти отца Сергей Львович принимал участие в подготовке полного собрания сочинений Льва Толстого и занимался делами музея в Ясной Поляне. Под его редакцией вышли дневники Софьи Андреевны Толстой.
Лев Толстой, как и его брат, Сергей Николаевич, противился браку своих дочерей, из-за чего они упускали очень выгодные партии и были вынуждены выходить замуж уже в достаточно взрослом возрасте и лишь для того, чтобы не оставаться в родительском доме.
Старшая дочь Толстого стала первой жертвой деспотизма отца. Она в семнадцать лет влюбилась в соседа М. Сухотина, который был в то время женат и имед шестерых детей. Отец, естественно, был против этой связи. В последующие десять лет в общей сложности у Татьяны Львовны было десять романов, но Лев Николаевич отказал всем женихам, несмотря на то, что среди претендентов были князья Урусов и Мещерский, графы Капнист и Олсуфьев… Она вышла замуж, вопреки воле отца, лишь в тридцать пять лет — за свою первую любовь, М. Сухотина, который к тому времени овдовел. После четырех выкидышей она родила дочь Татьяну, а вскоре муж умер. Лишь рождение внучки примирило Льва Николаевича с дочерью.
Татьяна была талантливой художницей и писательницей. В ее творческом наследии рассказы о художнике Н.Н. Ге, о писателе И.С. Тургеневе, об отце и о людях, которые бывали в их доме. Она собиралась написать о В.В. Стасове, И.Е. Репине и об А.П. Чехове, но эти планы не осуществились.
Татьяна Львовна в 1925 году уехала из России в Чехословакию читать лекции о Толстом и больше в Россию не вернулась. В последние годы жизни жила в Италии с дочерью, вышедшей замуж за доктора юридических наук Альберта, нянчила внуков и с благотворительной целью для русских эмигрантов мастерила кукол, наряжая их в русские одежды. Она умерла в 86 лет в 1950 году.
Своего сына Илью Лев Николаевич считал самым литературно одаренным. Его рассказ «Одним подлецом меньше» отец находил превосходным. Но после длительной болезни Илья Львович оставил литературную деятельность.
Он женился первым из детей Толстого в 1888 году. Его жена Софья Николаевна Философова родила первую внучку Толстого — Анну. Отношения с женой складывались трудно. Газета «Новая Россия», которую он издавал, обанкротилась, и Софье Николаевне пришлось содержать семью на свои деньги. Этот брак распался в 1916 году, и Илья Львович уехал в США, где писал статьи в газеты и читал лекции. Его приглашали к сотрудничеству киностудии для участия в картинах по романам его отца «Анна Каренина» и «Воскресение», но, как выяснялось позже, делали это лишь в рекламных целях.
В Америке Илья Львович женился во второй раз, но этот брак был еще более неудачным, чем первый: его жена, ученица индуса, следовала вегетарианству и неправильным питанием довела мужа до полного истощения. Ослабленный болезнью (у него был рак) и истощенный, он умер 12 ноября 1933 года.
Сын Ильи Львовича Владимир в 1945 году вернулся в Советский Союз и до конца жизни работал в колхозе, хотя за его плечами было две диссертации.
Правнук Льва Толстого, Илья Владимирович — кандидат филологических наук, более сорока лет отдал преподавательской деятельности в Московском университете. Его усилиями Ясная Поляна была включена в число памятников культуры национального значения.
Сын Ильи Владимировича — журналист, с 1994 года директор музея-усадьбы Ясная Поляна, его сын от второго брака, Андрей, родился в Ясной Поляне.
Сын Толстого, Лев Львович, был самым талантливым из детей Льва Николаевича. Он был музыкантом и художником-портретистом, скульптором, спортсменом, кавалеристом. Он учился на филологическом факультете Московского университета, но со второго курса ушел, заболев тифом после поездки в голодную Самарскую губернию.
Лев Львович писал рассказы и статьи, которые были собраны в книгах «Для детей», «Яша Полянов», «Из времени студенчества», «В молодые годы», «Современная Швеция», «Прелюдия Шопена».
Лев Львович был большим поклонником женской красоты и азартным игроком.
Лев часто критиковал взгляды своего отца, их ссоры продолжались без конца. Постоянные конфликты вызвали психо-соматическое расстройство, и Лев Львович был вынужден уехать на лечение в Канны, где он женился в 1896 году на дочери своего лечащего врача Доре. У них в Ясной Поляне родился сын Лев.
Приехав в 1909 году в Париж с женой и пятью детьми, Лев Львович занялся скульптурой. Здесь же он встретился с девушкой по имени Жизель, и у них начался бурный роман. Когда Лев Львович сообщил об этом Доре, разразился скандал. Толстой уехал в США, где читал лекции по литературе, политике, науке, встречался с Эдисоном и президентом Вильсоном.
Встревоженный вестью о болезни жены, он вернулся в Париж, а оттуда вместе с семьей — в Россию. В 1914 году Дора, не простив мужу очередной интрижки, забрав семерых детей и ожидая восьмого, уехала к отцу в Швецию.
А Лев Львович не успокаивался: он завел роман с гувернанткой Мадлен, затем с цыганкой. Родив сына, эта цыганка объявила, что он — сын Толстого. И через несколько лет парижские газеты запестрели заголовками: «Внук великого писателя, Жан Толстой, ворует драгоценности и деньги на пляжах в Ницце». Мальчика привезли в Париж, и его взял под свое покровительство президент Ассоциации русских студентов.
Когда Дора умерла, Лев Львович приехал в Швецию, где доживал свой век со своими детьми.
Большой помощницей Льва Николаевича была дочь Мария. Она переписывала его рукописи и выполняла другие поручения отца, все чаще заменяя Софью Андреевну. Под его влиянием она стала вегетарианкой и отказалась от светских развлечений.
Она нравилась мужчинам, и те неоднократно засылали сватов, но Лев Николаевич, как и в случае с Татьяной, решительно всем отказывал. Когда Мария влюбилась в четвертый раз, она пошла против воли отца и вышла замуж за своего родственника князя Николая Леонидовича Оболенского. Этот брак был счастливым, но бездетным: Мария отличалась слабым здоровьем и не могла выносить ребенка. Она умерла от воспаления легких в 1906 году.