В своих воспоминаниях Алексей Владимирович пишет:

«Это было в августе 1914 года в Ивангороде. Я проснулся рано утром и торопливо одевался, чтобы ехать на работы, спешно производившиеся, чтобы привести старую заброшенную крепость хотя в сколько-нибудь годное для обороны состояние. Рыли окопы между фортами, строили убежища от бомбардирования, натягивали проволочные сети, заболачивали низкие места перед фортами. Но все это было примитивно, и трудно было рассчитывать, что удастся отбиться. Комендант крепости, генерал Михелис, так это и понимал и откровенно говорил, что сделает лишь попытку отразить штурм, а затем взорвет мост и уйдет. Я был в отчаянии, но торопил работы, насколько можно было, располагая лишь двумя инженерами и сотней рабочих.

Все же старался расшевелить, воодушевить и привлечь к работе всех, способных к ней, влить в них энергию, заставить понять, что без новых укреплений крепость не может стать крепостью. Энергия моя, мой пыл, мое воодушевление заразили многих, каждый день прибывали новые помощники, и работы развивались так, что скоро слух о них вышел из крепости. И вот утром 13 августа денщик мой Афанасий торопливо доложил мне, что меня просят в штаб крепости к телефону, что меня вызывают из штаба армии. Бегу, беру трубку, и, вероятно, никакой удар грома, ни взрыв бомбы по соседству не могли бы поразить меня сильнее, чем слова генерала Гутора: „Вы назначаетесь комендантом крепости!“

Я был молод, я приехал в крепость на должность простого инженера, подчиненного начальнику инженеров, и понимал, что до генеральской должности должно пройти еще несколько лет, и потому и не мечтал о ней. Вследствие этого, известие совсем меня огорошило. Сколько мыслей, сколько переживаний в одно мгновение! Удовлетворенное честолюбие, сознание полной свободы действий и возможности проявить на войне свою собственную инициативу, а не только исполнять приказания начальства, большой почет и возможная слава и другие подобные мысли радовали и возбуждали меня, а в то же время откуда-то ползло сомнение, появлялась другая мысль, мысль о том, что с имеющимися средствами нельзя одержать победу и что ответственность по закону всецело падет на меня. Недолго, однако, продолжалась борьба — отбросив сомнение, согласился и вступил в должность.

Ясно сознавал всю громадную ответственность, что возлагаю на себя, а от этого пробудилась и удесятерилась энергия во мне, и дух мой поднялся высоко. Мгновенно родилась и укрепилась во мне мысль: „Сделать все возможное и биться до конца. Победа или смерть — другого выхода нет“. Как только я пришел к такому решению, я ясно сознал, что оно нерушимо, неизменно — и что это так именно и будет. Тогда полное спокойствие овладело мной, но понимал, что нужна какая-то чрезвычайная помощь, помощь Свыше, чтобы добиться успеха. Тогда я послал пригласить ко мне отца Якова. Он был уже старик, двадцать лет состоял крепостным священником Ивангорода, и всей его личностью внушал большое к нему доверие и почтение всех.

Сказал ему, что сознаю предстоящее мне столь трудным, что не хочу взяться за него, не призвав помощь Божию, что прошу его помолиться за меня и благословить. Вместе помолились. Тотчас же какая-то тихая радость, спокойствие и уверенность охватили меня и, казалось, распространились по всему моему телу. Я посетил все части войск, говорил с солдатами и всем объявил, что отступления из Ивангорода не будет».

Осенью 1914 года германские и австро-венгерские войска так и не смогли взять крепость, а после контрнаступления русских войск были вынуждены отступить, после чего Алексей Владимирович был произведен в генерал-майоры и награжден Георгиевским оружием. Заслуги А.В. фон Шварца высоко оценил сам император Николай II, посетивший Ивангород в октябре 1914 года и сказавший: «Как мне приятно смотреть на вас: на вашем лице отражается чувство исполненного долга».

В июле 1915 года А.В. фон Шварц вновь оборонял Ивангород от войск противника, успешно отразив двухнедельный штурм. Потом, в связи с общим отступлением русской армии и получив соответствующий приказ, он организованно эвакуировал гарнизон крепости и его имущество (в том числе орудия крепостной артиллерии), а затем организовал взрыв укреплений. При этом сам Алексей Владимирович считал эвакуацию преждевременной, выступая за необходимость продолжения обороны.

С ноября 1915 года А.В. фон Шварц был комендантом Карской крепости на северо-востоке Турции, а с июля 1916 года — начальник Трапезундского укрепрайона. Он отличился в боях на Кавказском фронте во время наступления под командованием генерала Н. Н. Юденича, заслужив славу «героя Кавказского фронта».

Сам Алексей Владимирович констатирует:

«Великая война, оборона Ивангорода, работы по укреплению Западного фронта, работы по перестройке Карса и созданию обороны Трапезунда окончательно установили мою репутацию, как фортификатора».

После Февральской революции А.В. фон Шварц был назначен начальником Главного технического управления Русской армии (марта 1917 г.), а в августе того же года его произвели в генерал-лейтенанты.

После прихода к власти большевиков генерал фон Шварц, желая продолжать бороться против германских войск, вступил в красные вооруженные формирования. До заключения Брестского мира, с декабря 1917 года по февраль 1918 года, он занимал пост командующего Северным и Петроградским участками обороны. Затем он был вызван Л. Д. Троцким в Москву, но, не желая больше служить в Красной армии, в марте 1918 года он вместе с женой Антониной Васильевной бежал на Украину. Там он жил в Киеве, а после свержения гетманского режима, в конце 1918 года, переехал в Одессу. Отметим, что, находясь на юге России, А.В. фон Шварц не имел ничего общего с Добровольческой армией, начавшей формироваться в ноябре 1917 года генералами от инфантерии М. В. Алексеевым и Л. Г. Корниловым.

В марте 1919 года командование оккупационными войсками на юге России в лице французского генерала Луи-Феликса Франше д’Эспре назначило А.В. фон Шварца военным генерал-губернатором Одессы и командующим всеми русскими войсками в Одесском районе. Алексей Владимирович принял эту должность без согласования с командованием Вооруженных сил Юга России. Причинами подобного назначения А.В. фон Шварца принято считать разочарование французов в эффективности Белого движения, а также известность генерала в Европе как выдающегося военного инженера. В результате действия французов и генерала фон Шварца вызвали протест со стороны А. И. Деникина. Представители Добровольческой армии в Одессе также не признали этого назначения. А вскоре французские войска оставили город, бросив белых на произвол судьбы, и А.В. фон Шварц эвакуировался вместе с ними в Константинополь.

В эмиграции А.В. фон Шварц жил в Италии и во Франции. Там он опубликовал на французском языке свои воспоминания об обороне Ивангорода. Потом он перебрался в Аргентину.

В своих воспоминаниях Алексей Владимирович пишет:

«Я очутился сначала в Италии и Франции, а затем в Аргентине. Во Франции я начал, а в Аргентине окончил несколько моих работ, являющихся наиболее крупными и значительными моими работами в области фортификации. Это „Прошлое и настоящее долговременной фортификации и ее применение к обороне государства“ и „Крепости до, во время и после Великой войны“. Обе работы по их полноте и документальности являются, безусловно, выдающимися в мировой военной литературе, но они написаны и опубликованы на испанском языке, который мало знают в Европе, и потому обе книги остались мало известны европейским специалистам. Позже я написал еще целый ряд книг, всегда по фортификации, но их постигла печальная участь — здесь их мало кто читает, а в Европе они остались совсем неизвестны. Я писал их с большой любовью и верой, что они принесут пользу стране, где я нашел приют. Однако этого не случилось, потому что здесь не придают фортификации никакого значения и фортификацией не интересуются, вследствие чего страна остается совершенно беззащитной».