Роман о Вадиме пишется уже в Петербурге. В 1831 году, оставив Московский университет, Лермонтов переезжает в столицу и 1832–1834 годы проводит в стенах Школы гвардейских подпрапорщиков и кавалерийских юнкеров.
Малопродуктивные в творческом отношении, эти годы были важны, однако, для внутренней эволюции Лермонтова; уже к 1832 году «лирическое неистовство» двух предшествующих лет идет на спад и начинается постепенное возвращение к лиро-эпическим формам, но уже на новой основе. Стихи 1832 года — уже не лирический дневник; объективное начало в них опосредованно, а круг жизненных впечатлений и образных средств шире. «Парус» написан именно в 1832 году, как и «Желанье», «Тростник», «Два великана», где ощущаются симптомы более углубленного освоения народной поэзии. В 1835 — начале 1837 года Лермонтов общается с петербургскими литераторами. О его окружении в это время известно мало; мы знаем, однако, что в него входили люди, близкие к формирующемуся славянофильскому лагерю (С. А. Раевский, А. А. Краевский). В этом общении у Лермонтова укрепляется уже определившийся интерес к проблемам национальной истории и культуры, а также — к сюжетному характерологическому повествованию на современном материале, первыми опытами которого были его ранние драмы. Незаконченный роман «Княгиня Лиговская» (1836) знаменовал этот этап его эволюции; возникнув, как и «Странный человек», на интимной автобиографической основе, он оказался первой попыткой создания социального характера: фигуры Печорина, молодого столичного офицера из высшего общества, Веры, его бывшей возлюбленной, вышедшей замуж за старого князя Лиговского, — все это первые абрисы будущих персонажей «Героя нашего времени»; поведение их и способ мышления обусловлены средой и обстоятельствами, и они уже предопределяют конфликт между Печориным и бедным дворянином Красинским — как можно думать, центральный драматический узел всего повествования. Соответственно меняется и роль бытовой сферы: если в раннем творчестве Лермонтова герой существовал вне быта и даже был противопоставлен ему как носитель духовного начала миру «существенности», то теперь Лермонтов обращается к социальному бытописанию, прямо предвосхищающему «физиологии» начала 40-х годов; едва ли не впервые в русской литературе он дает описание «петербургских углов» — социальный городской пейзаж, который станет затем органической принадлежностью натуральной школы. Наконец, в «Княгине Лиговской» обрисовывается и образ автора-повествователя, с прихотливой, изменчивой системой эмоциональных оценок, с автобиографическими отступлениями, философскими медитациями, иронией, которая теперь становится излюбленным способом повествования у Лермонтова: ею окрашены стихи 1833–1835 годов и ряд поэм на современные темы: «Сашка» (1835–1836), «Тамбовская казначейша» (1836–1838).
В «Маскараде», который пишется одновременно с «Княгиней Лиговской» (1836), сдвиги в художественном сознании обозначаются еще более резко. «Маскарад» был первым произведением, которое Лермонтов считал достойным обнародования и стремился увидеть его на сцене; однако драма была запрещена по причине «слишком резких страстей» и отсутствия моралистической идеи «торжества добродетели». В жанровом отношении «Маскарад» близок к мелодраме и романтической драме (в частности, французской) 30-х годов; в сатирическом изображении общества Лермонтов во многом следует за Грибоедовым. Мотивы «игры» и «маскарада», организующие драму, — социальные символы высокого уровня обобщения. Однако наиболее значительное достижение Лермонтова — характер Арбенина, заключающий в себе глубокий и неразрешимый внутренний конфликт: отделивший себя от общества и презирающий его, герой «Маскарада» оказывается органическим его порождением, и его преступление с фатальной предопределенностью утрачивает черты «высокого зла» в трагическом смысле и низводится до степени простого убийства. Шкала этических и эстетических ценностей, существовавшая в байронической поэме и в ранних поэмах Лермонтова, парадоксально переворачивается: с утратой Нины для героя не наступает смерть, несущая функцию катарсиса, но продолжается жизнь, причем в состоянии сумасшествия, а не высокого романтического безумия. Поведение героя-протагониста оказывается соотнесенным с судьбой окружающих его людей, которая становится мерой его моральной правомочности. Это был кризис романтического индивидуализма, следы которого обнаруживаются в ряде произведений Лермонтова 1836–1837 годов.
В эти годы меняется концепция и жанровая структура лермонтовской поэмы — и переходным явлением оказывается «Боярин Орша» (1835–1836). «Орша» еще связан с байронической традицией, конкретнее — с «Гяуром» и «Паризиной», и вместе с тем это первая из оригинальных и зрелых поэм Лермонтова. Прежде всего, в ней ясно ощущается древнерусский колорит — не только в бытовой и этнографической определенности, но и в самой психологии Орши. Лермонтов пытается создать исторический характер. Орша — боярин времени Ивана Грозного, сумрачный феодал, живущий законами традиции и боярской чести. Нарушение их он рассматривает как преступление и вершит суд над собственной дочерью, уличенной в прелюбодеянии. Для него невозможны исповедь, лирический монолог; он подан в эпических, а не лирических красках. Напротив, Арсений — прямой наследник героев юношеских поэм (ср. «Литвинка»). В поэме разрушилось единодержавие героя: протагонист и антагонист не уступают друг другу ни по силе характера, ни по силе страдания, но если на стороне Арсения правда индивидуального чувства, то за Оршей — правда обычая, традиции, общественного закона. То, что Орша выдвигается на передний план повествования, свидетельствует о переоценке самих концептуальных основ байронической поэмы. Этот процесс завершается в «Песне про царя Ивана Васильевича, молодого опричника и удалого купца Калашникова» (1837), где герои «Орши» как бы поменялись местами: «невольник чести» XVI века, носитель традиции и незыблемых нравственных устоев, воплощающий в себе национальный и исторический колорит, характер, — Калашников — здесь окончательно выдвигается на первое место. Его противник Кирибеевич, с его культом индивидуальной храбрости, удали и страсти, — прямое продолжение Арсения, но он побежден и дискредитирован. В «Песне» действует критерий народной этики, и он-то меняет ценностные характеристики, оправдывая Калашникова и его самовольный суд над героем-индивидуалистом. Своего рода аналогом «Песни» в лирике Лермонтова было «Бородино» (1837) — «микроэпос» о народной войне 1812 года, где героем и рассказчиком одновременно представал безымянный солдат, носитель «народного», внеличного начала. Само действие, хотя и исторически локализованное, рисовалось в эпической манере и развивалось, по существу, в эпическом времени. Облик рассказчика предопределил сказовую форму повествования и ту систему ценностей, которая обозначалась в стихотворении: героическое время подъема народного самосознания противопоставлялось измельчавшему настоящему: «Да, были люди в наше время!.. Богатыри — не вы!» Концепции «Бородина» и «Песни» во многом соотносились друг с другом: в «Песне» также существуют и эпическое время, и эпические характеры, и народный сказ, ориентированный на былину, историческую песню и фольклорную балладу.
«Песня» и «Бородино» были первыми значительными печатными выступлениями Лермонтова, сразу же привлекшими к себе внимание; литературная же известность его началась ранее, в феврале 1837 года, когда в Петербурге стало распространяться его стихотворение «Смерть Поэта», воспринятое как голос нового поэтического поколения, наследующего Пушкину. В стихотворении содержалась концепция жизни и гибели Пушкина, во многом опиравшаяся на пушкинские статьи и стихи, частью ненапечатанные, как «Моя родословная». Заклеймив Дантеса как заезжего авантюриста, Лермонтов перенес затем тяжесть вины на общество, уже описанное им в «Маскараде», и на его правящую верхушку — «новую аристократию», не имевшую за собой национальной и культурной традиции («надменные потомки / Известной подлостью прославленных отцов»). Заключительные шестнадцать строк стихотворения были истолкованы при дворе почти как призыв к революции. Ближайшие друзья Пушкина приветствовали стихотворение как литературное выступление и как гражданский акт. Началось следствие «о непозволительных стихах»; находясь под арестом, Лермонтов пишет серию стихотворений, составивших так называемый «тюремный цикл» («Сосед», «Узник»); мотивы его ощущаются и в таких поздних шедеврах, как «Соседка» и «Пленный рыцарь».