Сын, страдавший комплексом неполноценности и обладавший колоссальным тщеславием, огорчился и затаил обиду. Стал задирать отца, сочиняя нечто в пику «Крейцеровой сонате», высмеивая толстовцев и непоследовательного, «лицемерного» Толстого, вполне заслужив репутацию «семейного enfant terrible» (даже Софья Андреевна иногда вынуждена была отмежевываться от некоторых вызывающих публичных заявлений сына). Раздраженность и пристрастная полемичность не способствовали улучшению литературного стиля и сильно ухудшили отношения Льва Львовича с Лесковым, Горьким, Короленко и другими писателями, с которыми он довольно близко сошелся в Ясной Поляне и Москве (далеко не все обладали таким безграничным и слепым дружелюбием, как Николай Ге). Толстой возмущался «бестактностью, бездарностью и самоуверенностью» сына, читая его сочинения, не мог победить «отвращения и досады». Не мог скрыть от сына, что он думает о его произведениях: «Я огорчил его, сказав правду. Нехорошо. Надо было сделать мягче и добрее». В редчайших случаях, когда он находил в сочинениях Льва Львовича хоть какой-то проблеск таланта (поздравил его с удачной пьесой «Швейцар генеральши Антоновой»), Толстой и писал сыну мягче и добрее. Чаще — беспощадно резал правду-матку, особенно если считал тенденцию произведения вредной и безумной, как в «подпольной» и памфлетной «Прелюдии Шопена»: «Ты можешь писать всё, что хочешь, но проповедовать войну — это безумие и преступление, которых всякий человек должен избегать».
Может быть, полезнее было бы иногда и сдержаться, выразиться деликатнее, смягчить критику какими-нибудь незначительными похвалами, не говорить всей правды, ограничившись полуправдой, но это было не в привычках Толстого, который не мог изменить правде, отступить от неколебимого правила. Близкое родство, кажется, только освобождало от излишней дипломатии и светских условностей. К детям, особенно сыновьям, Толстой предъявлял высокие требования. Несколько, правда, расслабился, «подобрев» в старости. В общении с детьми был сдержан, строг. Сентиментальность и внешнее проявление чувств не были присущи всем Толстым (Софья Андреевна также не страдала излишней чувствительностью). Во Льве Толстом и его брате Сергее, похоже, сильнее, чем в других Толстых, проявилась характерная семейная черта — «страшная сдержанность в выражении сердечной нежности, скрываемой часто под личиной равнодушия, а иногда даже неожиданной резкости». Толстые были во всем самобытны, ироничны, а то и саркастичны. И в том же аскетичном, сдержанном духе воспитывали детей. Илья Львович пишет в воспоминаниях, что за всю жизнь отец его ни разу не приласкал. Если с дочерьми какие-то скупые ласки и допускались, то с сыновьями они просто исключались. «Взаимная любовь подразумевалась, но не выказывалась. Бывало, в детстве ушибешься — не плачь, ноги озябли — слезай, беги за экипажем, живот болит — вот тебе квасу с солью — пройдет, — никогда не пожалеет, не поласкает. Если нужно сочувствие, нужно „пореветь“ — бежишь к мам а ». «Телячьи ласки» высмеивались.
Толстой не признавал слов «не могу» и «устал». Приучал к быстрой езде. Сыновья не поспевали за ним, падали с лошадей, вставали, опять садились и устремлялись за отцом, продолжавшим ехать крупной рысью. И так же учил Толстой детей арифметике, латинскому, греческому, учил прекрасно и интересно, но «шел крупной рысью… и надо было за ним успевать во что бы то ни стало», напрягая все силы. И он всех и всё видел насквозь своими особенным образом устроенными глазами. «От него, как от своей совести, прятаться было нельзя… и обманывать его было то же самое, что обманывать себя. <…> Я плохо выдерживал взгляд его пытливых небольших стальных глаз», — писал Сергей Львович. О том, как много видели эти небольшие стальные глаза, свидетельствуют «эпистолярные» портреты детей в нежном возрасте, которые, разумеется, и предположить не могли, что думает о них и что им пророчит сильный и всё знающий отец. Он писал о шестилетнем Илье насмешливо, удивляясь столь ранним и сильным признакам чувственности и без всяких «сантиментов», основательно его изучив: «Ширококост, бел, румян, сияющ. Учится дурно. Всегда думает о том, о чем ему не велят думать. Игры выдумывает сам. Аккуратен, бережлив, „моё“ для него очень важно. Горяч и violent, сейчас драться; но и нежен, и чувствителен очень. Чувствен — любит поесть и полежать спокойно… Когда плачет, то вместе злится и неприятен, а когда смеется, то и все смеются. Всё недозволенное имеет для него прелесть… Еще крошкой он подслушал, что беременная жена чувствовала движение ребенка. Долго его любимая игра была то, чтобы подложить себе что-нибудь круглое под курточку и гладить напряженной рукой и шептать улыбаясь: „Это бебичка“. Он гладил также все бугры в изломанной пружинной мебели, приговаривая: „бебичка“». И неутешительно пророчествовал, что Илья погибнет без «строгого и любимого им руководителя». Долгое время таким «руководителем» Толстой и являлся для Ильи и других детей.
Сыновей жалел, беседовал, затрагивая серьезные и деликатные темы, а когда они выросли, часто спорил, но никогда не приказывал и не навязывал своих мнений. Татьяна Львовна так описывает деликатный стиль, присущий Толстому: «Я хочу подчеркнуть одну черту отца: он не только никого не поучал, никому даже из членов своей семьи не читал наставлений. Но он и вообще никогда никому не давал советов. Он очень редко говорил с нами о своих убеждениях. Он трудился один над преобразованием своего внутреннего мира. Мы не видели, как проходил процесс этого развития, и в один прекрасный день оказались перед результатом, к которому не были подготовлены».
Мнений своих и оценок Толстой не навязывал в строгой, императивной, категоричной манере, но с поразительным упорством и последовательностью их излагал, повторял, пропагандировал, оказывая сильное давление, невольно вызывавшее сопротивление. Сергей Львович, почти не принимавший участия в семейной борьбе последних лет, ровно относившийся к отцу и матери и вообще не выказывавший никаких предпочтений, тем не менее писал о двух сторонах \медали: «Мы не только любили его; он занимал очень большое место в нашей жизни; и мы чувствовали, что он подавляет наши личности, так что иной раз хотелось вырваться из-под этого давления. В детстве это было бессознательное чувство, позднее оно стало сознательным, и тогда у меня и у моих братьев явился некоторый дух противоречия по отношению к отцу». Всё чаще и чаще раздавался ропот, который вызывал раздражение отца, не приветствовавшего многоголосие в семье. Он резко, насмешливо осуждал желание сына Сергея поступить на физико-математический факультет Московского университета, понося естественные науки и позитивизм. А когда по окончании института Сергей обратился к отцу за советом, чем ему лучше заняться, то получил обидевший и отдаливший от мировоззрения отца ответ: «Дела нечего искать, полезных дел на свете сколько угодно. Мести улицу — также полезное дело».
Сергей Львович был замкнут, сдержан и застенчив. Сестры его любили за благородство, честность, независимость и доброту. Младшая сестра Александра писала о нем с любовью и состраданием: «Он был самый серьезный и трудолюбивый из всех братьев Толстых, жил своей обособленной жизнью, не примыкая ни к матери, ни к отцу, редко делился своими мыслями с семейными, тая всё в себе, и только когда Сергей садился за фортепьяно и часами играл своих любимых Шопена, Бетховена, Баха, Грига и пытался что-то сам сочинять, все невольно заслушивались… только роялю одному Сергей открывал свою душу: в звуках то бурно-страстных, то нежно-певучих чувствовались и грусть, и внутренняя борьба этого некрасивого, замкнутого в себе юноши». Самый строгий и надежный из всех сыновей Толстого, которого, по мнению Татьяны Львовны, он не оценил по заслугам.
Толстой смотрел на детей как на различные отражения своего облика, и очень часто эти отражения ему не нравились, временами он даже с отвращением гляделся в безжалостные, равнодушно правдивые зеркала. Он не отделял и не мог отделить детей от себя. Нес ответственность за всё — и за благородные порывы, и за «нравственную тупость». Они были его детьми, его произведениями, его грехами, его добродетелями и пороками. «Мои дети, мое произведение со всех сторон, с плотской и духовной. Я их сделал, какими они есть. Это мои грехи — всегда передо мной. И мне уходить от них некуда и нельзя. Надо их просвещать, а я этого не умею, я сам плох. — Я часто говорил себе: если бы не жена, дети, я бы жил святой жизнью, я упрекал их в том, что они мешают мне, а ведь они — моя цель, как говорят мужики. Во многом мы поступаем так: наделаем худого; худое это стоит перед нами, мешает нам, а мы говорим себе, что я хорош, я бы всё сделал хорошо, да вот передо мной помеха. А помеха-то я сам».