Усердные хлопоты Е. А. Арсеньевой и ходатайство поэта В. А. Жуковского привели к тому, что Лермонтов был «прощён» и переведён в Гродненский гусарский полк, расположенный неподалёку от Новгорода и нередко служивший местом ссылки. В январе 1838 г. он приехал с Кавказа в Петербург, где провёл около месяца: бывал в театре, делал «церемонные визиты», навестил Жуковского, которому вручил поэму «Тамбовская казначейша», вскоре опубликованную в «Современнике». В феврале Лермонтов выехал в полк, а после дальнейших ходатайств перед царём в апреле 1838 г. был переведён в свой прежний лейб-гвардии гусарский полк, стоявший в Царском Селе. Тогда же (30 апреля) в «Литературных прибавлениях» к «Русскому инвалиду» появилась без имени автора, не пропущенного цензурой, «Песня про царя Ивана Васильевича...», имевшая огромный успех ещё в рукописи.
Лермонтов снова погрузился в петербургскую жизнь, в глазах общества он был теперь известный поэт, пострадавший за крамольные стихи, побывавший в опасной ссылке. «Целый месяц я был в моде, меня разрывали на части, — писал он в конце 1838 г. М. А. Лопухиной, — ...Весь этот свет, который я оскорблял в своих стихах, с наслаждением окружает меня лестью» (там же, с. 740). В июле 1838 г. в «Современнике» появилась (также анонимно) сатирическая поэма «Тамбовская казначейша» (под усечённым цензурой названием «Казначейша»). Он создаёт три новые редакции «Демона», в том числе шестую, которую готовит к печати; пишет стихотворения «Кинжал», «Дума» и др.; начинает работать над «Героем нашего времени». К началу 1839 г. Лермонтов сближается с редакцией «Отечественных записок», издаваемых А. А. Краевским, и постепенно входит в среду петербургских писателей. Он посещает литературные вечера у В. Ф. Одоевского, знакомится с семьёй историка А. М. Карамзина, встречается с В. А. Жуковским, В. А. Соллогубом, И. П. Мятлевым, А. И. Тургеневым, И. И. Панаевым и другими литераторами; позднее сближается с В. Г. Белинским. В передовых литературно-общественных кругах в нём видят теперь надежду русской литературы. В одном из писем 1839 г. Белинский под впечатлением стихотворения «Три пальмы» воскликнул: «На Руси явилось новое могучее дарование — Лермонтов!» (Полн. собр. соч., т. 11, 1956, с. 378). В другом письме, упомянув стихотворение «Терек», критик писал: «...страшно сказать, а мне кажется, что в этом юноше готовится третий русский поэт и что Пушкин умер не без наследника» (там же, с. 441).
Тем временем неумолимо углублялся давно наметившийся конфликт между поэтом и светским обществом, аристократическими кругами николаевского Петербурга. Близкое знакомство с этими кругами обостряло оппозиционные настроения Лермонтова. Он сам писал об этом М. А. Лопухиной: «...Новый опыт принёс мне пользу, потому что дал мне в руки оружие против общества, и, если когда-либо оно будет преследовать меня своей клеветой (а это случится), у меня будут по крайней мере средства мщения; несомненно нигде нет столько подлостей и столько смешного» (Соч., т. 6, 1957, с. 740).
К концу 30-х гг. окончательно определились основные направления лермонтовского творчества. Вольнолюбивые настроения и горький скептицизм в оценке современности нашли выражение в его гражданско-философской лирике («Дума», «Поэт», «Не верь себе...», «Как часто пёстрою толпою окружён...» и др.); они своеобразно преломились в романтичных и фантастических образах «кавказских» поэм — «Мцыри» (1839) и «Демон», над которыми поэт работал в течение всей жизни (начиная с 1829-го); наконец, критическое и реалистическое изображение современной жизни оказалось характерным для зрелой прозы Лермонтова. В марте 1839 г. в «Отечественных записках» появилась повесть «Бэла. Из записок офицера о Кавказе», в ноябре — повесть «Фаталист», которую редакция сопроводила следующим примечанием: «С особенным удовольствием пользуемся случаем известить, что М. Ю. Лермонтов в непродолжительном времени издаст собрание своих повестей и напечатанных и ненапечатанных. Это будет новый, прекрасный подарок русской литературе» (там же, с. 834). «Собрание повестей», о которых здесь говорится, образовало роман «Герой нашего времени». В феврале 1840 г. в журнале была опубликована «Тамань», а в апреле вышел отдельным изданием весь роман, явившийся как бы итогом раздумий автора о современном обществе и о судьбах своего поколения.
«Герой нашего времени» распространялся в те дни, когда Лермонтов был предан военному суду и находился в заключении за дуэль с сыном французского посла в Петербурге Э. Барантом. Эта дуэль, состоявшаяся 18 февраля, окончилась ничем и могла бы остаться незамеченной. Однако власти поспешили использовать незначительный сам по себе эпизод как повод для расправы с непокорным поэтом. Военный суд, согласно прямому указанию Николая I, приговорил Лермонтова к вторичной ссылке на Кавказ, в Тенгинский пехотный полк, готовившийся к сложным военным операциям. Царь не скрывал своей ненависти к поэту и внимательно следил за его литературной деятельностью, читал «Героя нашего времени», о котором отзывался резко отрицательно. Одно из писем Николая I этого времени, адресованное императрице и почти целиком посвящённое Лермонтову, заканчивалось зловещими словами: «Счастливого пути, господин Лермонтов!» Травля Лермонтова, завершившаяся ссылкой, явилась выражением политической борьбы, которая развёртывалась вокруг поэта. Недавние организаторы преследований и убийства Пушкина не могли простить Лермонтову его стихов на смерть поэта: они узнали себя в той «жадной толпе», стоящей у трона, о которой с негодованием писал автор этих стихов.
Находясь под арестом, Лермонтов написал несколько стихотворений, в том числе «Журналист, читатель и писатель». Здесь, в заточении, его посетил Белинский, до того мало знакомый с поэтом. Встреча и беседа с ним произвели сильнейшее впечатление на Белинского, о чём он подробно и взволнованно рассказывал и писал друзьям.
В начале мая 1840 г. Лермонтов выехал из столицы. До конца мая он пробыл в Москве, где встречался с Н. В. Гоголем, для которого читал «Мцыри», С. Т. Аксаковым, Е. А. Баратынским, Н. Ф. Павловым, Ю. Ф. Самариным, А. С. Хомяковым и другими. 10 июня Лермонтов был уже в Ставрополе, а в конце июня — в военном отряде под командованием генерала А. В. Галафеева, стоявшем под крепостью Грозной на левом фланге Кавказской линии. Здесь Лермонтов сблизился с несколькими кавказскими офицерами. Вскоре ему пришлось принять участие в военных действиях — в кавалерийских вылазках, оружейной перестрелке и даже рукопашных боях. Особенно отличился он в тяжёлом сражении при реке Валерик (11 июля 1840 г.), которое описал в стихотворении «Я к вам пишу...». В официальном донесении отмечалось, что Лермонтов, «...несмотря ни на какие опасности, исполнял возложенное на него поручение с отменным мужеством и хладнокровием и с первыми рядами храбрейших ворвался в неприятельские завалы» (там же, с. 852). «Он был отчаянно храбр, — рассказывает современник, — удивлял своею удалью даже старых кавказских джигитов...» (Мануйлов В. Летопись жизни и творчества М. Ю. Лермонтова, 1964, с. 140). Дважды представляли Лермонтова к награде за отвагу; но награда означала бы облегчение его участи, поэтому Николай I неизменно отклонял ходатайства военного командования.
Пока Лермонтов сражался в далёком горном крае, почти в каждом номере «Отечественных записок» появлялись его новые стихи. В октябре 1840 г. вышла из печати небольшая книжка «Стихотворения», куда автор после строгого отбора включил лишь 26 стихотворений и 2 поэмы — «Песню про царя Ивана Васильевича...» и «Мцыри». Тогда же в журнале одна за другой печатались статьи и рецензии Белинского, в которых стихи и проза Лермонтова нашли глубокое и верное истолкование.
После настойчивых просьб Е. А. Арсеньевой удалось добиться разрешения царя на короткий отпуск для Лермонтова — с оговоркой: «ежели он по службе усерден». В начале февраля 1841 г. поэт приехал в Петербург, в душе надеясь получить отставку и остаться в столице. Но вскоре он ощутил острую неприязнь к себе в кругах, близких ко дворцу и к царской семье. Ему приходилось выслушивать унизительные выговоры и угрозы. Уже и конце февраля Лермонтов писал знакомому кавказскому офицеру: «...я скоро еду опять к вам, и здесь остаться у меня нет никакой надежды... 9-го марта отсюда уезжаю заслуживать себе на Кавказе отставку; из Валерикского представления (к награде. — Ред.) меня здесь вычеркнули...» (Соч., т. 6, 1957, с. 457—58). В то же время его любовно, даже восторженно встретили друзья, знакомые, многие литераторы. «Отечественные записки» (1841, № 4, отд. 6, с. 68), где работал Белинский, спешили сообщить: «...он теперь в Петербурге и привёз с Кавказа несколько новых прелестных стихотворений, которые будут напечатаны в «Отечественных записках», тревоги военной жизни не позволили ему спокойно и вполне предаваться искусству...; но замышлено им много, и всё замышленное превосходно. Русской литературе готовятся от него драгоценнейшие подарки».