Слушатели были потрясены, многие — потому что не ожидали, что к ним обратятся на языке, столь редко используемом в дипломатических кругах. Архиепископ Макон, один из дипломатических представителей Франции, взял слово и попросил императора предоставить текст его речи, так как он не понимает по-кастильски. Карл жестко ответил: «Ваше Преосвященство, скажу прямо: не ждите, что я стану изъясняться на каком-либо языке, кроме испанского, который столь благороден, что заслуживает того, чтобы его понимали все христиане». Даже советники Карла были смущены неожиданной силой этой «проповеди», как они для себя определили речь императора, и тем, что она была произнесена именно на испанском языке. На следующий день, когда гнев императора остыл, он призвал двух французских послов и в личной беседе передал им краткое изложение своей речи на «чистейшем итальянском». За исключением этого случая, Карл всегда отдавал предпочтение своему родному языку, французскому, как в частной, так и в политической жизни.

Успех в Тунисе, как напомнила Карлу императрица в сентябре 1535 года, «был особенно приятен Неаполю и Сицилии, а также всей Италии». Кастильцы же всегда настаивали на походе против Алжира, а Тунис их занимал мало. Он был всего лишь частью африканского побережья, представлявшей интерес разве что для Арагонской короны. Так что кастильцы продолжали твердить о необходимости захвата Алжира. Корсаров в любом случае надо было остановить. В ответ на Тунис 1 сентября Барбаросса с тридцатью галерами предпринял молниеносную атаку на порт Маон на Балеарских островах. Его люди разграбили город, взяли в плен значительную часть населения и через пять дней ушли.

Экспедиция в Алжир, на которую надеялись императрица и советники, была бы попыткой реванша за неполную победу в Тунисе. Но она откладывалась, так как император был озабочен ситуацией в Милане, вызванной смертью герцога Франческо Сфорца в ноябре 1535 года. В феврале 1536 года Карл из Неаполя написал императрице, прося ее продолжать подготовку к походу на Алжир, но также немедленно послать средства в Геную, чтобы быть готовыми к проявлениям враждебности со стороны Франции в северной Италии. «Все имеющиеся галеры — писал император — должны быть посланы в Геную под командованием Альваро Басана вместе с тремя тысячами пехотинцев, провизией и деньгами, начеканенными из американского золота и серебра, доставленного из Севильи».

В Неаполе, где Карл остановился после Тунисского похода, он везде появлялся в обществе Дориа. Вместе с адмиралом император решал вопросы политического устройства Италии.

— В связи со смертью герцога Франциска Сфорца, я хотел бы присоединить к своим владениям Милан! — делился своими мыслями с Дориа Карл V. — Чего пропадать добру!

— Все это так, ваше величество, — кивал головой хитромудрый Дориа, — но я вижу, по крайней мере, два препятствия этому!

— Какие препятствия могут быть у меня? — искренне удивился император.

— Во-первых, в драку за Милан обязательно ввяжется Париж, а потому до его присоединения хорошо бы обезопасить себя мирным договором с королем Франциском. Во-вторых, этот шаг неминуемо вызовет противодействие и всех итальянских князей, которым, конечно же, не понравится ваше усиление на Аппенинах.

— Ничего страшного, — усмехнулся Карл — Я не боюсь ни местных князьков, ни французского короля. Пусть они меня боятся, а Милан мне нравится и он будет моим, чего бы это мне не стоило!

Биограф адмирала так подводит итог этой знаменательной беседы: «Скоро Карл V уверился в справедливости суждений Дориа. Франциск I, желая войти в Миланское владение, предпринял завоевание Савойского герцогства, которое открыло ему туда дорогу. Адмирал Брион вступил в Миланское владение с французской армией, покорил Бреесу, Божио, Шамбери, Монтмелиан и пр., взял Турин».

Узнав об этом, Дориа немедленно поспешил в Понтомели, где в ту пору находился Карл V.

— Ваше величество! — заявил он ему. — Необходимо нанести удар по Франциску не в Италии, а непосредственно во Франции!

Император поглядел на своего советчика с некоторым сомнением.

— Этим мы заставим его бросить все силы на защиту своих границ и навсегда забыть о Милане! — продолжал настаивать Дориа. — Я же гарантирую вашему величеству, что со своим флотом опустошу берега Прованса!

— В этом что-то есть! — наконец согласился император. — Мне этот план начинает нравиться!

В тот же день были отданы распоряжения о приготовлении армии. Вскоре Карл V уже вошел со своей армией в Прованс. Дориа же, как и обещал, истово принялся громить французские берега. Затем он ворвался в гавань Тулона, захватил городскую цитадель, погрузил на галеры все городские продовольственные припасы и отправил их в испанскую армию, испытывавшую в них недостаток.

Король Франциск, которому давно было известно от своих шпионов об авторе опустошительного похода, не мог слышать даже имя Дориа. Когда же в Париж пришло известие о захвате Тулона, Франциск пришел в неописуемую ярость.

— Я повешу этого предателя и интригана на первом же суку, попадись он мне в руки! — кричал король, брызгая слюной. — Для этого проклятого генуэзца нет ничего святого, кроме голой наживы! Я еще сведу с ним счеты! Он еще будет плакать у меня кровавыми слезами!

Стараясь оголодить неприятеля, французы применили тактику выжженной земли. Привыкшие воевать и жить за счет побеждаемых, испанцы оказались совершенно не готовы к ходу короля Франциска. Трудности начались почти сразу. Голодные ландскнехты буянили и бунтовали. Отставших и мародеров добивали разъяренные крестьяне.

Пока Дориа жег французские берега, Франциск сдержал свое обещание и направил на Геную армию графа Рансоне. Узнав об опасности, грозящей родному городу, Андре Дориа немедленно отправил туда отряд галер племянника Антониа с семью сотнями ветеранов Августина Спинолы. С прибытием подкрепления генуэзцы ободрились и принудили Рансоне снять осаду.

Тем временем испанская армия во Франции была уже на грани голодной смерти. Под началом Карла вместо пятидесяти тысяч, которые он повел через Альпы, теперь была едва ли половина. Однако, несмотря на это, Франциск по-прежнему избегал генерального сражения, изматывая противника в мелких стычках и перерезая ему коммуникации. Из последних сил испанские войска сумели пробиться к морю, где Дориа немного подкормил вконец отощавших имперцев, а затем и вывез в Италию.

Несмотря на явную неудачу французского похода, Карл совершенно не разочаровался в своем флотоводце, насоветовавшему это гибельное предприятие. Наоборот, вера в мудрость адмирала у императора еще более укрепилась. Посетив еще раз Геную, он, как и в прошлый раз, остановился в доме Дориа.

Едва Карл уехал, как против испанского засилья взбунтовалась давно известная своими профранцузскими настроениями Флоренция. Расправляться с мятежниками пришлось Дориа, и адмирал не подвел своего друга-императора. Быстро стянув к мятежному городу отряды немецких наемников, он сумел почти без потерь утихомирить смуту. Наградой за карательную акцию была благодарность Карла V.

Известный историк Генри Кеймен в своей работе «Испания: дорога к империи» пишет: «Пока Карл как император противостоял на севере Европы протестантской Реформации, югу Испании продолжали угрожать военно-морские силы мусульман в Африке и в Средиземноморье. Правление императора совпало с наиболее успешным периодом экспансии в истории Османской империи, которой с 1520 по 1566 год правил Сулейман Великолепный. Испанцы почувствовали это на себе. Кайр аль-Дин Барбаросса в 1518 году объявил себя вассалом султана и, заручившись поддержкой Стамбула, продолжал нападать на суда христиан в западном Средиземноморье. В 1522 году он вновь захватил Белее де ла Памера, а в 1529 — Алжирскую Скалу, где истребил небольшой кастильский гарнизон из 150 человек, которым прежде обещал благополучное возвращение в Испанию в случае, если они сдадутся. Флоту Барбароссы из шестидесяти судов такие мелкие инциденты были нипочем: он мог рассчитывать на поддержку многочисленных недовольных морисков внутри Испании. Разгром флотом Барбароссы восьми галеонов, посланных императором из Генуи в 1529 году, у острова Форментера насторожил Карла и убедил его в необходимости срочных действий. Момент был особенно сложный, а выбор небогатый. С апреля 1530 года большую часть времени императору пришлось проводить на территории империи, где он разрывался между попытками договориться с немецкими принцами и отвратить угрозу Османской империи Вене.