Никак нельзя назвать случайным то, что первыми стихотворными попытками Алёши стали басни, где герои — звери. С ранних лет, помимо поэзии, его обуревала ещё одна страсть: охота. Всё связанное с миром животных глубоко интересовало мальчика. Дядя всячески поощрял его любознательность. Он как-то послал в Красный Рог молодого лося, однако в сопроводительном письме предупредил своего малолетнего любимца, чтобы был осторожен и не только не приближался к рогатому гиганту, но и не подпускал матушку. Вскоре (19 февраля 1824 года) дядя вновь известил Алёшу, что купил для него в Феодосии маленького верблюда, ослика и дикую козочку. Весь этот зверинец должен был проследовать в Красный Рог.

Отголоском воспоминаний детства и первых поэтических опытов молодого стихотворца стало одно из ранних и, пожалуй, лучших его стихотворений, полное чувства единения с природой:

(«Где гнутся над омутом лозы…». 1840-е)

Алексей Перовский всерьёз задумывался о будущем своего любимца. Вскоре, как ему казалось, представилась возможность поставить Алёшу на дорогу, ведущую к блестящей карьере при дворе. Странно, но этому способствовали связи, которые он завязал в литературных, а вовсе не в придворных кругах. Его добрый знакомый и знаменитый поэт Василий Андреевич Жуковский был приглашён руководить занятиями наследника престола цесаревича Александра Николаевича, будущего Александра II.

Живой свидетель павловских времён и аракчеевщины, Жуковский поставил себе целью воспитать гуманного государя, для которого подданные не были бы всего лишь солдатами, а Россия — обширной казармой. Надо сказать, что материал для гуманистической педагогики был не особенно благодатным. Воспитанник Жуковского не отличался способностями и с ранних лет больше всего любил воинские игры (в чём его всячески поощрял венценосный отец Николай I). Однако Василий Андреевич проявил незаурядную настойчивость и смог привить цесаревичу добрые начала. В том, что царствование Александра II осталось в памяти потомства эпохой «великих реформ», немалая заслуга и его благородного наставника.

По мысли Жуковского, воспитание цесаревича не должно проходить в отрыве от сверстников. Он высказал это царю, и Николай I с ним согласился. Товарищами наследника по занятиям стали сын графа Михаила Виельгорского Иосиф и Александр Паткуль. Для совместных игр по воскресеньям приглашались другие мальчики: Александр Адлерберг, Александр Барятинский (будущий фельдмаршал, победоносно завершивший Кавказскую войну и пленивший Шамиля) и Алексей Толстой.

Забегая вперёд скажем, что на первых порах эти игры были обыкновенными ребячьими потасовками. Наследнику никто не давал фору, и он часто оказывался на ковре сбитым с ног. Зато Алёша Толстой постоянно становился победителем. Уже тогда он отличался баснословной физической силой; ему ничего не стоило поднять одного, а то и двух мальчиков и перебросить через себя. Приятели признали его непобедимость и почитали как богатыря; сам же Алёша любил называть себя казаком. Разумеется, в памяти всплывал Красный Рог, с которым к этому времени пришлось надолго расстаться.

Анна Алексеевна Толстая приехала с Алёшей в Москву во время коронации Николая I. Она была хорошо принята при дворе и уже 22 августа 1826 года стала статс-дамой. 30 августа мать и сын были приглашены на дачу графини Анны Алексеевны Орловой-Чесменской в Нескучном саду, где жила императрица с детьми. В этот день и состоялось знакомство будущего поэта с наследником престола. Прибыли и другие гости. Всего в своеобразном детском празднике участвовали десять мальчиков и десять девочек. После вечернего чая мальчики открыли в беседке стрельбу из игрушечных ружей. Следы от пуль в стене этой беседки можно было видеть спустя годы.

Вскоре последовал переезд в Петербург. Алёша оставался участником игр цесаревича и в Зимнем дворце, и в Царском Селе, и на Елагином острове. Всё чаще это были игры в войну с перестрелками и даже с залпами из крошечных пушек. Постигалась «наука парада» и отрабатывались ружейные приёмы. Впрочем, поэтически настроенному Алёше Толстому всё это уже было не по вкусу; маршировки не доставляли ему никакого удовольствия.

Для игр с цесаревичем Алёшу вывозили по воскресеньям, а в остальные дни, если судить по автобиографической поэме «Портрет» (зима 1872 — осень 1873), он был предоставлен самому себе. Анна Алексеевна Толстая занимала обширный дом возле Аничкова дворца, она постоянно выезжала в свет, и не удивительно, что о своём детстве поэт вспоминал такими словами:

Конечно, имело место и так называемое домашнее воспитание, но о своих наставниках Алёша был невысокого мнения:

В душе мечтательного отрока подспудно зарождалась тяга к прекрасному, как предчувствие собственного предназначения в жизни. Уже давала о себе знать и потребность любви. Не удивительно, что первым объектом её оказалась не женщина из плоти и крови, а живописное полотно, висящее на стене большого зала: