В 1895 году поступил в IV класс Санкт-Петербургской 3-й гимназии, которую окончил в 1900 году. В том же году поступил на юридический факультет Санкт-Петербургского университета. Юноша принадлежал к богатой еврейской семье. Достаточно сказать, что его дед был действительным статским советником (генеральская должность по табели о рангах), одним из немногих иудеев, получивших потомственное дворянство.

В университете Поляков сближается с молодыми поэтами-студентами, организовавшими в 1902 году студенческий поэтический кружок. Многие из них впоследствии станут хорошо известными поэтами среди «младших символистов». Это Александр Блок, Валентин Анненский (Кривич), Александр Кондратьев, Леонид Семенов, Дмитрий Фридберг. Стихи этих авторов, как и стихи Полякова, были включены в изданную в 1903 году книгу «Литературно художественный сборник. Стихотворения студентов Имп. Санкт- Петербургского университета. Мало сказать, что этот сборник и известен блоковедам, так как первые стихи Блока появились именно в нем. Впоследствии Блок вспоминал о встречах молодых поэтов на квартире Кондратьева, где часто бывал и Поляков. О самом Полякове Блок писал так: «С этим печальным, строгим, насмешливым, умным и удивительно привлекательным юношей я встречался за несколько лет до его смерти у одного из наших общих литературных приятелей. Он много молчал, а когда говорил, это было (или казалось нам тогда) очень остро и свежо». Схожие характеристики впоследствии давал Полякову и Кондратьев: «Я вспоминаю молчаливого, как бы из камня изваянного, никогда не прибегавшего к жестам Виктора Полякова, эпиграмм которого так боялся А. Блок. Этот принадлежал по матери своей (урожденной Ротшильд) к одному из самых могущественных царствующих домов Земного шара».

Эти эпиграммы до нас, видимо, не дошли, но тот же Кондратьев в 1920-е годы в статье «Литературные утраты» вспоминал: «Приятие Блоком революции со всеми ее логическими последствиями отнюдь не было новостью для тех, кто знал его еще на университетской скамье. И недаром покойный Виктор Лазаревич Поляков, поэт, не лишенный злого остроумия, товарищески пародировал когда-то блоковские стихи: «Покорный ласковому взгляду, любуюсь тайной красоты, и за церковную ограду бросаю бомбу и цветы». Объект пародии - блоковское стихотворение «Я, отрок, зажигаю свечи» — в исходном блоковском тексте изменено только одно слово (в оригинале: «бросаю белые цветы»). Вообще же отношение Блока к Полякову, судя по всему, было непростым, в частности, в неопубликованном письме Кондратьева к Брюсову сказано, что Блок «при жизни как будто побаивался Полякова и не очень любил его».

Судьба Полякова сложилась трагически: 14 марта 1906 года он покончил с собой в Париже. Причины самоубийства точно не установлены, возможно, одной из них стала перенесенная поэтом тяжелая болезнь. Незадолго до смерти Поляков подготовил к изданию книгу стихов, предпослав ей в качестве своеобразного стихотворного предисловия «Стансы читателю», в которых формулирует свое поэтическое и жизненное кредо - певца камерной, потаенной музы, избранного поэта и поэта для избранных: Что известности случайность? Мне милее суеты Целомудренная тайность Откровений красоты. Так: с мучительным недугом Любославья незнаком, Лишь поэтам был я другом, Для немногих был певцом. Единственная книга: Поляков В. Стихотворения. СПб.: Тип. «Сириус», 1909. - 114 с., 1 л. портр. - 600 экз.