В мае 1940 года Баранов участвовал в первом Всесоюзном совещании прокуроров уголовно-судебных отделов. В своем выступлении он поднял вопрос о качественной стороне прокурорского надзора и высказал критические замечания в адрес Прокуратуры Союза ССР, которая, по его мнению, запоздала с «переориентацией» прокуроров на повышение качества надзорной деятельности. «Когда мы говорим о качестве, — заметил Баранов, — то неизбежно поднимается весь комплекс вопросов: культура работы прокуроров в широком смысле этого слова, культурная подготовка дела, культурное изложение своей точки зрения, культура в смысле организации своей работы и т. д. Нужно вовремя заметить незаконный приговор по делу, по которому прокурор не смог выступить». Баранов поделился с участниками совещания опытом работы, накопленным в уголовно-судебном отделе прокуратуры Ленинградской области.
23 июня 1941 года, в связи с началом Великой Отечественной войны, П. В. Баранов был мобилизован в действующую армию. Первое время в звании военного юриста 2-го ранга (присвоено 18 сентября 1941 года) он служил помощником военного прокурора Ленинградского фронта. На него были возложены обязанности по судебному надзору и кадрам. С ними он справлялся вполне удачно, что явилось основанием для выдвижения его на более высокий пост. В апреле 1942 года Павел Владимирович стал заместителем военного прокурора 8-й армии Волховского фронта, а в августе того же года ему досрочно присвоили звание военного юриста 1-го ранга. Хорошо разбираясь в конкретных делах, Баранов всегда оказывал военным следователям конкретную помощь, а нередко и сам бывал на передовой и занимался расследованием наиболее важных дел, проявляя в боевой обстановке мужество и смелость. Военный прокурор 8-й армии военный юрист 1-го ранга Грейсер был очень доволен своим заместителем.
В октябре 1942 года командование армией сочло возможным рекомендовать Баранова на самостоятельную работу — военным прокурором. Однако с этим предложением не согласился военный прокурор Волховского фронта бригадвоенюрист Деев. Он считал, что Баранов «преувеличивает свою подготовку и свои способности, болезненно реагирует на замечания» и не добился улучшения следствия в прокуратуре армии. Хотя замечания Деева и были признаны обоснованными, тем не менее в Главной военной прокуратуре пришли к выводу, что положительные качества Баранова явно перевешивают все его недостатки и самолюбие, и он вполне может справиться с обязанностями военного прокурора армии. 16 ноября 1942 года он был назначен исполняющим должность военного прокурора 10-й армии Западного фронта.
3 апреля 1943 года приказом заместителя народного комиссара обороны СССР генерал-лейтенанта А. Щербакова, в соответствии с постановлением Государственного комитета обороны СССР от 4 февраля 1943 года «О введении юридическому составу Красной Армии персональных воинских званий», П. В. Баранову было присвоено звание подполковника юстиции.
Павлу Владимировичу приходилось часто бывать в соединениях, частях и подразделениях передовой линии, где он проводил большую работу среди личного состава войск по укреплению дисциплины и воинского порядка в войсках. Особенно активен он был в период наступательных боев, в связи с чем его наградили орденом Отечественной войны 1-й степени.
12 августа 1943 года П. В. Баранов был утвержден прокурором 10-й армии. Менее чем через год, 5 мая 1944 года, он уже военный прокурор 2-го Белорусского фронта (утвержден в должности 1 июня 1944 года). 16 августа того же года приказом народного комиссара обороны СССР И. В. Сталина Павлу Владимировичу было присвоено воинское звание полковника юстиции. В характеристике, выданной ему в это время, значилось, что борьбу с преступностью он проводил организованно, систематически изучал и обобщал данные о преступности и осуществлял через командование и подчиненных прокуроров мероприятия, приводившие к сокращению таких преступлений, как дезертирство, членовредительство, хищения военного имущества. Благодаря стараниям военного прокурора значительно улучшилась работа органов дознания и следствия, да и сама надзорная деятельность.
В мае 1944 года и. о. военного прокурора Румянцев написал в характеристике Баранова, что в период наступательных операций тот успешно проводил большой важности работу по устранению недостатков в деле материального обеспечения войск, пресечению и предупреждению отрицательных явлений среди личного состава. За этими скупыми строчками стояла напряженная жизнь военного прокурора фронта, требующая полной самоотдачи, высокой дисциплины и ответственности.
После окончания Великой Отечественной войны, в июле 1945 года, вследствие расформирования 2-го Белорусского фронта, П. В. Баранов был назначен исполняющим должность военного прокурора Северной группы войск, а 30 декабря утвержден. Во время войны, как следовало из характеристик и аттестаций, Баранов успешно справлялся со своими обязанностями, пользовался авторитетом, как твердый, смелый и решительный прокурор и всегда находился на хорошем счету у командования.
Условия же мирного времени потребовали от него совсем иных качеств. По всей видимости, Павел Владимирович не сумел вовремя перестроиться, а где-то и переоценил свои возможности. Со временем вышестоящее начальство все чаще и чаще стало замечать в его деятельности недостатки и просчеты. Войска, в которых служил Баранов, находились тогда в Польше.
Судя по официальным документам, он не учел изменившегося характера преступности, и, продолжая работать по старинке, «не сумел охватить весь масштаб разнообразной прокурорско-следственной работы», а, самое главное, не смог наладить правильных деловых отношений с командованием группы. В служебной характеристике от 24 июня 1946 года, подписанной начальником политуправления Северной группы войск генерал-лейтенантом Окороковым, делался вывод о том, что П. В. Баранова необходимо перевести на работу с меньшим объемом — прокурором небольшого военного округа. С этим мнением согласилось и командование Северной группы войск. Делался вывод, что Баранов «занимаемой должности не соответствует». (Отзыв подписан Главнокомандующим Северной группы войск Маршалом Советского Союза К. Рокоссовским и членом Военного совета генерал-лейтенантом А. Русских.)
Однако столь резкий отзыв о служебной деятельности Баранова никоим образом не бросил тень на его личные качества. Он по-прежнему считался перспективным прокурором. Некоторое время П. В. Баранов все еще продолжал руководить прокуратурой Северной группы войск. В августе 1946 года его работа была проверена бригадой военных прокуроров, которая вскрыла многие недостатки. В связи с этой проверкой военный прокурор Сухопутных войск генерал-майор юстиции Чепцов посчитал целесообразным перевести П. В. Баранова на работу в округ с меньшим объемом (отзыв от 4 октября 1946 года).
В ноябре 1946 года приказом Генерального Прокурора Союза ССР Горшенина П. В. Баранов был назначен прокурором Южно-Уральского военного округа (г. Чкалов), где прослужил полтора года. С этой должностью он справлялся хорошо: подтянул дисциплину в прокуратуре, заметно усилил надзор на всех основных участках работы, совместно с командованием округа добился сокращения таких преступлений, как дезертирство, самовольные отлучки, нарушения устава караульной службы и др.
Павел Владимирович успешно занимался (заочно) сразу в двух вузах: в Военно-юридической академии и в юридическом институте.
В органах военной прокуратуры П. В. Баранов пробыл в общей сложности семь лет. Служба принесла ему звание полковника юстиции и несколько правительственных наград: два ордена Красного Знамени, орден Отечественной войны 1-й степени, польский орден «Крест Грюнвальда» и несколько медалей. В 1943 году командованием Ленинградского фронта он был награжден именными часами.
Весной 1948 года новый Генеральный прокурор СССР Г. Н. Сафонов рекомендовал Павла Владимировича на должность заместителя Прокурора РСФСР по общим вопросам. 19 апреля 1948 года такое назначение состоялось. В прокуратуре он непосредственно курировал один из важнейших отделов — уголовно-судебный, а также группу по делам несовершеннолетних и отделы по надзору за местами заключения и хозяйственный. Работу начал активно. В частности, по его инициативе была организована глубокая проверка деятельности органов прокуратуры по судебному надзору в Чувашской АССР. Результаты проверки впечатляющи — 10 судебных работников были отданы под суд за допущенные ими злоупотребления.