Первая кавказская ссылка поэта в марте 1837 года неожиданно раздвинула диапазон его творчества. В Пятигорске, Ставрополе, Тифлисе расширяется круг его связей; он знакомится со ссыльными декабристами и близко сходится с крупнейшим поэтом декабристской каторги — А. И. Одоевским; в Тифлисе вступает в контакт с культурной средой, группировавшейся вокруг А. Чавчавадзе (тестя Грибоедова), одного из наиболее значительных представителей грузинского романтизма. Наконец, он впервые близко соприкасается с народной жизнью, видит быт казачьих станиц, русских солдат, многочисленных народностей Кавказа. Все это прямо проецируется на его творчество, укрепляя, в частности, уже определившиеся фольклористические интересы; в 1837 году Лермонтов записывает народную сказку об Ашик-Керибе, стремясь передать характер восточной речи и психологию «турецкого» (тюркского, т. е., по-видимому, азербайджанского) сказителя; в «Дарах Терека» (1839), «Казачьей колыбельной песне» (1838), «Беглеце» (1837–1838) из фольклорной стихии вырастает народный характер, с чертами этнической и исторической определенности. Общение с А. И. Одоевским отразилось в прочувствованном стихотворении на его смерть («Памяти А. И. О-го», 1839) и в стихотворениях, где улавливаются следы знакомства с одной из лучших (ненапечатанных) элегий Одоевского 30-х годов — «Куда несетесь вы, крылатые станицы…» — «Спеша на север издалека» (1837) и «Последнее новоселье» (1841). Но едва ли не наиболее важное поле для социально-психологических наблюдений открылось Лермонтову там, где он столкнулся с представителями иных общественных и психологических генераций — со ссыльными декабристами, с близким к ним доктором Майером (прототип Вернера в «Герое нашего времени») и др. Эти контакты не были простыми и легкими; поздние воспоминания М. А. Назимова показывают, что обе стороны ощущали психологический барьер, возникавший из-за контраста двух типов социального поведения; лермонтовский скептицизм и ирония, внешнее равнодушие к, казалось бы, незыблемым этическим и эстетическим ценностям оказывались неприемлемыми для «поколения 1820-х годов» (он оттолкнул при первой встрече и Белинского, привыкшего к мировоззренческим спорам в философских кружках); но и для Лермонтова открытая исповедальность его собеседников представала почти профанацией, и он намеренно принимал на себя ролевую маску «светского человека». Эта система отношений, осмысленная в социально-психологических категориях, окажется очень существенной в проблематике «Героя нашего времени». Уже в «Бородине» Лермонтов ставил вопрос об исторической судьбе поколений в современном ему обществе; качественно новым явлением была «Дума» (1838) с ее беспощадным самоанализом, где Лермонтов едва ли не впервые поднялся над собственным рефлектирующим сознанием, оценивая его со стороны как порождение времени, исторически обусловленный и преходящий этап в развитии общества. В этом отношении «Дума» — прямой пролог к «Герою нашего времени», замысел которого уходит своими истоками во впечатления 1837–1838 годов; она дает как бы первоначальный абрис общей концепции романа, персонифицированной в образе Печорина. К тем же проблемам, но с несколько иной стороны Лермонтов подходит в стихотворении «Не верь себе» (1839), где происходит переоценка традиционно романтической темы «поэт и толпа»: в прямом противоречии с традицией, «толпа» оказывается ценностно значительнее «поэта», ибо концентрирует в себе тяжелый и выстраданный душевный опыт. Все эти социально-философские идеи пронизывают зрелую лирику Лермонтова, над которой он работает параллельно с романом и двумя своими центральными поэмами — «Демоном» и «Мцыри» — уже в Петербурге, куда он вернулся в январе 1838 года, по хлопотам родных получив «прощение» и перевод в лейб-гвардии Гродненский полк.
Три последних года биографии Лермонтова — 1838–1840 и часть 1841 года — были годами его литературной славы. Вернувшись в столицу, он принят в прежнем пушкинском кругу, знакомится с Жуковским, Вяземским, В. Ф. Одоевским, В. А. Соллогубом, Плетневым, семейством Карамзиных, попадает в атмосферу литературных исканий пушкинского кружка и становится свидетелем собирания и посмертного издания пушкинских сочинений. В его поэзии и прозе вновь оживают пушкинские начала; так, в «Штоссе» улавливаются вариации мотивов незаконченных повестей Пушкина из светской жизни, в «Тамаре» (1841) интерпретируется тема Клеопатры, «Журналист, читатель и писатель» (1840) содержит отзвуки борьбы пушкинского круга с «торговой словесностью». Эта связь в глазах пушкинского кружка даже заслоняет новаторство Лермонтова в разработке поднятых Пушкиным тем; более длительный и прочный контакт устанавливается у Лермонтова с «Отечественными записками», сразу принявшими его как первостепенную и самостоятельную культурную величину; именно Белинский — основной критик журнала с 1839 года — оказывается наиболее глубоким толкователем Лермонтова за всю историю его критического восприятия.
В «Отечественных записках» появляется в свет большинство прижизненных и первых посмертных публикаций лермонтовских стихов, а также отдельные повести из «Героя нашего времени» («Бэла», «Фаталист», «Тамань»). Почти все эти произведения связаны друг с другом единой проблематикой: в центре их — анализ современного общества и современной психологии. Он присутствует и в любовной лирике — конечно, неявно, как намек на отдаленные и глубокие причины коллизии. Непосредственно в тексте он реализуется как мотив взаимного непонимания и разобщенности. В современном обществе утрачены естественные формы коммуникации — и оно фатально обрекает своих членов на одиночество. Возникает противопоставление: искусственное общество — естественное начало («Как часто, пестрою толпою окружен…», 1840) и рядом с ним — мотив безнадежной любви, фатальной невозможности соединения («Утес», 1841; «Сон», 1841; «Завещание», 1840; «Они любили друг друга так долго и нежно…», 1841; «На севере диком стоит одиноко…», 1841). В «Журналисте, читателе и писателе» Лермонтов рассматривает конкретные формы социальной (литературной) коммуникации и устами Писателя прокламирует неизбежность отказа от творчества. Так конкретизируется та общая картина социальной жизни, которая нарисована в «Думе»: современное поколение — «сумеречное», «промежуточное», отравленное современной цивилизацией, преждевременно состарившееся и утратившее полноту жизненных сил. Суд над этим замкнутым в самом себе обществом еще раз произносится в «Пророке» (1841), произносится как бы извне, с точки зрения неких общечеловеческих ценностей. Все эти проблемы будут поставлены в «Герое нашего времени» и на ином уровне обобщения — в «Демоне» и «Мцыри».
«Демон» и «Мцыри» завершают линию ранних поэм Лермонтова. Первая-четвертая редакции «Демона» пишутся в 1829–1831 годах, пятая — в 1833–1834-м, шестая — в 1838-м, и только в 1839-м появляется окончательная, восьмая редакция. Замысел поэмы складывался с трудом и эволюционировал вместе с лермонтовским творчеством. В первой-пятой редакциях герой возникал как обобщенная схема характера «героя-преступника» байронической мистерии. Демон влюблялся в смертную (монахиню), пытаясь найти в этой любви путь к преображению, выход из бесконечного одиночества и страдания. Однако монахиня была возлюбленной ангела, и любовь Демона уступила место ненависти и желанию мстить; он соблазняет и губит монахиню. Уже в это время наметился абрис центрального монолога Демона, обращенного к возлюбленной, о своем одиночестве, вражде с Богом и стремлении переродиться в любви. Монолог этот — демонический обман, соблазн. Возлюбленная Демона, впавшая в грех, рисуется как обуреваемая экстатической чувственной страстью. Ее гибель — это победа Демона, но достигнутая ценой полного внутреннего опустошения. Уже в пятой редакции, однако, меняется облик героини: она получает более разработанную и мотивированную психологическую биографию, и поэтому особое значение приобретает «соблазняющий» монолог искусителя, где все более проступают ноты отрицания существующего миропорядка. В этой редакции намечается и тема искупления, которая приобретает затем значение одной из центральных в поэме. В шестой редакции Лермонтов находит для поэмы окончательное место действия — Кавказ и погружает сюжет в сферу народных преданий, бытовых и этнографических реалий, но главное — окончательно материализует облик героини. Фигура Тамары становится теперь рядом с образом Демона. Происходит то же разрушение единодержавия героя, какое мы прослеживаем в других лермонтовских поэмах, и совершенно так же деформируется первоначальная идейная структура. Заметим, что в промежутке между пятой и шестой редакциями «Демона» пишутся «Маскарад» и «Княгиня Лиговская», а также «Два брата»; во всех трех произведениях появляется женский образ, играющий значительную роль, а иногда служащий своего рода мерилом моральной правомочности героя. «Маскарад» в особенности близок «Демону» по проблематике и концепции. В изменившемся замысле мотив ревности Демона к ангелу, как и мотив любви ангела к Тамаре, уходит на задний план; проблема переносится в философско-этическую плоскость. В «грехопадении» Тамары открывается высший смысл: оно — жертвенное страдание, которое самоценно и ставит личность почти на грань святости (ср. в «Оправдании»: «.. прощать святое право / Страданьем куплено тобой»).