Накануне трагического дня 12 апреля с наступлением темноты специальный отряд японских кораблей и минный крейсер «Кориомару» подошли к Ляодунскому полуострову. Они бродили в течение ночи по одному и тому же участку внешнего порт-артурского рейда с одной целью — точно поставить минную банку. И им это удалось. Русские разведчики-прожектористы засекли появление «подозрительных» судов, однако погодные условия не позволяли достоверно утверждать, что это японские миноносцы. Поэтому было принято решение артиллерийский огонь по ним не открывать. Когда об этом доложили адмиралу Макарову, он приказал утром проверить это место: «…не набросали бы какой дряни нам японцы». Взрыв произошел на внешнем рейде, когда русская эскадра выходила, чтобы дать бой адмиралу Хейхатиро Того.
В 9 часов 43 минуты у правого борта флагмана, которым был эскадренный броненосец «Петропавловск», раздался взрыв. Над броненосцем вырос столб черно-бурого дыма и пламени, полностью окутавший корабль. Затем раздался другой взрыв под мостиком. Он был более сильным. Из «Петропавловска» вылетела масса огня с желто-зеленым и бурым дымом. Позднее водолазы установят, что взрыв разломил броненосец на две части. Эта трагедия произошла на глазах всей эскадры и артиллеристов береговых батарей в течение всего двух минут.
Деморализующий эффект был огромен. Кроме командующего флотом погибли начальник штаба флота контр-адмирал М. П. Молас, знаменитый художник В. В. Верещагин, 27 офицеров и 630 матросов. Спасти удалось лишь контуженого командира «Петропавловска» капитана 1-го ранга Яковлева, будущего претендента на российский престол в эмиграции великого князя Кирилла Владимировича, 5 младших офицеров и 73 матроса. По заключению морского технического комитета, броненосец коснулся мины или минной банки, а затем, после ее взрыва, в результате детонации взорвался боезапас корабля. Некоторое время спустя водолазы обнаружили возле места гибели «Петропавловска» «минный букет» — целую связку японских мин.
В России и за границей ясно понимали, что С. О. Макаров был единственным флотоводцем, способным изменить ход Русско-японской войны на море в пользу России. В официальных военных кругах единогласно признавалось, что главной потерей для России была гибель адмирала Макарова, а не сильнейшего в составе Тихоокеанского флота эскадренного броненосца «Петропавловск».
Редактор газеты «Новое время» Алексей Суворин 13 апреля писал: «…Он сделал чрезвычайно много уже тем, что дал два месяца для передвижения русской армии. Он заслужил и перед родиной и перед нашей армией, и его имя не только на флоте, но и в армии будет почитаться, как имя одного из талантливейших и благороднейших русских людей… перед домом морского министерства когда-нибудь поставят обелиск с надписью: "Помни Макарова!"». Эти слова оказались пророческими. Сегодня на Якорной площади г. Кронштадта стоит памятник С. О. Макарову с надписью «Помни войну!».
Даже в Японии было выражено официальное сожаление по поводу гибели «лучшего в мире адмирала». В японскую поэзию великий флотоводец России вошел как «враг доблестный».
С. О. Макаров командовал Тихоокеанским флотом всего 36 дней. Он произвел кадровые перестановки в командовании флотом, поставив во главе боевых кораблей решительных, квалифицированных морских офицеров. За это время эскадра под его руководством шесть раз выходила в море на поиск врага. За все остальное время Русско-японской войны таких выходов будет всего три. Новое морское командование во главе с адмиралом Е. И. Алексеевым, по донесениям японской разведки, за три недели практически свело на нет все то, что успел сделать вице-адмирал С. О. Макаров. После этого инициатива в Желтом море окончательно перешла к японскому Соединенному флоту.
После гибели Макарова в Порт-Артур прибыл адмирал Е. И. Алексеев для личного руководства флотом. Однако, оценив обстановку, он заявил о бесперспективности борьбы с японцами на море, ибо «она приведет к окончательной гибели эскадры». Поэтому 22 апреля он уехал в Мукден, оставив за себя своего начальника штаба контр-адмирала В. К. Витгефта. Как начальник штаба тот безусловно был на месте, являясь талантливым администратором и безукоризненно выполняя приказ наместника «флоту не рисковать».
Однако В. К. Витгефт не был флотоводцем и отменил все выходы в море крупных судов, кроме легких крейсеров, канонерских лодок и миноносцев для поддержки отступающей армии. Даже 2 мая, когда были потоплены два первоклассных японских броненосца «Хатсусе» и «Ясима», Витгефт продолжал бездействовать и упустил возможность закрепить успех. Это бездействие дорого обошлось российскому флоту. 25 июля японцы оборудовали осадные батареи и начали обстрел порт-артурского рейда. Выполняя приказ наместника «прорываться во Владивосток», во время второй попытки 28 июля Витгефт был разорван на куски прямым попаданием крупнокалиберного снаряда в командную рубку броненосца «Цесаревич». Его тело не было найдено. После этого руководство российским флотом было дезорганизовано и расстроено. Только отдельным кораблям удалось прорваться во Владивосток, а остатки эскадры вернулись в Порт-Артур. Таким образом, российский флот не выполнил главную задачу — воспрепятствовать высадке японского десанта на материке. Японская разведка сумела установить планы русского морского командования и его местонахождение в составе кораблей Тихоокеанской эскадры. Поэтому огонь японских кораблей был сосредоточен на «Цесаревиче», где находился В. К. Витгефт. Российская же контрразведка оказалась явно не на высоте положения и не смогла квалифицированно обеспечить охрану Командующего флотом.
С началом военных действий в Маньчжурии выяснилось, что большое число китайцев и переодетых китайцами японцев занимаются шпионажем, следя с сопок за передвижением русских войск, расположением батарей, сигнализируя с помощью флагов, зеркал и т. д. Во время военных действий к разведывательной деятельности стали активно подключаться нижние чины и офицеры японской армии. Чаще всего они переодевались в китайские костюмы и с привязанными косами пробирались в места дислокации русских войск под видом местных жителей. В частности, так поступил поручик 13-го кавалерийского полка Комаяси. 12 марта 1905 г. он был послан из Кайюаня на разведку к Гирину. После первой попытки он доложил командиру полка, что дальше деревни Шеншену пробраться нет возможности. Командир полка ответил по-японски кратко: «Данная вам задача должна быть выполнена». Тогда Комаяси и унтер-офицер Кого переоделись китайцами и в сопровождении нанятого проводника прошли через русскую сторожевую цепь и добрались до деревни Тайсухе, в 20 верстах южнее Гирина. Там один из русских солдат в шутку дернул Кого за косу, которая осталась у него в руках. Так случайно были разоблачены японские шпионы, действовавшие в ближнем тылу русской армии. По приговору военно-полевого суда поручик Комаяси, унтер-офицер Кого и проводник китаец были расстреляны в Гунчжулине.
К началу Русско-японской войны в русской армии не было специальной службы, которая занималась контрразведкой и, прежде всего, борьбой со шпионажем. Борьба с ним должна была осуществляться за счет организации жандармско-полицейского надзора. Это было поручено штаб-офицеру Отдельного корпуса жандармов подполковнику Шершову. В его распоряжении имелась жандармская команда, состоявшая из 25 унтер-офицеров. Однако малочисленность личного состава и отсутствие опытных сыскных агентов делали борьбу с японским шпионажем во фронтовых условиях малоэффективной. Особенно отрицательно сказывалось незнание японского и китайского, корейского и монгольского языков, а также отсутствие специальных навыков сыскной работы.
С самого начала войны Командующий Маньчжурской армией генерал Линевич возбудил ходатайство перед адмиралом Алексеевым о привлечении в армию в качестве переводчиков студентов и слушателей-офицеров Восточного института. Переводчиков с восточных языков, в особенности с японского, не хватало даже в малочисленной Маньчжурской армии. В конце мая 1904 г. на театр военных действий были командированы Главным штабом пятеро корейцев — учеников Казанской учительской семинарии. Из них к 1905 г. в армии остался только один. В качестве официального переводчика при разведотделении штаба Маньчжурской армии состоял служащий Пекинского отделения Русско-китайского банка Р. И. Барбье, который занимался переводом статей из английских и французских газет.