Карл V был удовлетворен несомненным успехом губернаторства Франциска Борджиа, и его радовало христианское рвение, что и выразил во время заседания Кортесов Арагона в 1542 году в Монсоне. Разочарованный и утомленный император разоткровенничался перед ним. Он мечтал удалиться от мира, но сначала хотел урегулировать все незавершенные дела. Именно поэтому повсюду его сопровождал сын — дон Филипп, которого в Вальядолиде он провозгласил своим наследником и собирался представить в Сарагосе, в Барселоне и, наконец, в Валенсии: должным образом признанный, принц станет регентом этих королевств, пока его отец-император в Италии, а потом в Германии будет улаживать религиозные конфликты.
В апреле 1534 года Карл возвращается в Барселону, где он должен сесть на корабль. Он встретился со своим другом вице-королем, ставшим теперь герцогом Гандийским. Его отец умер 17 декабря 1542 года, но Франциск, занятый службой, не мог вступить во владение своим герцогством. Из-за шторма порт был закрыт, и во время своего вынужденного пребывания в городе герцог очень долго беседовал со своим повелителем. Снова оба говорили о суетности всего земного. Карл вез с собой портрет своей «ангелоподобной супруги», чтобы в Италии великий Тициан сделал с него точную копию, которую император хотел постоянно иметь при себе.
Воспользовавшись настроением своего повелителя, Франциск осмелился высказать пожелание, чтобы тот освободил его от должности вице-короля. Он настаивает на необходимости своего присутствия в Гандии: необходимо заняться семейными делами и исполнить завещание отца, расплатившись с вассалами и слугами. Карл V согласился, но при условии, чтобы новый герцог вскоре вернулся ко двору. Для пущей уверенности он назначил его мажордомом принцессы Марии Португальской — невесты будущего Филиппа II. Одновременно с этим он выдал герцогине Гандийской — Элеоноре де Кастро — патент первой придворной дамы, а двум из их дочерей — титулы дам дворца инфанты.
Донья Мария приехала только в конце 1543 года. В Саламанке ее встретил наследный принц Испании, и там их брак наконец осуществился — до этого он был заключен по доверенности. Поздний приезд инфанты, возражения королевы Португалии по поводу назначения герцогини, которую она не любила, наконец, смерть Марии Португальской после рождения сына 12 июля 1545 года — все это избавило герцога и герцогиню Гандийских от тягостной службы при дворе.
Франциск и Элеонора с удовольствием вернулись в свои владения. С ними приехали их младшие дети, которых они пытались воспитать вдали от интриг и продажности придворных. В течение трех лет они спокойно и патриархально управляли герцогством Гандийским и маркизатом Ломбэ. Герцог достойно наградил бывших слуг своего отца, а потом перестроил Гандийскую больницу и передал в нее новую мебель. Он укрепил берег, куда часто высаживались берберийские отряды, являвшиеся грабить рабов, — им помогали обрабатывавшие земли мориски. Озабоченный обращением крестьян в своих владениях, герцог договорился с отцом Араосом о создании миссии Иезуитов. До приезда монахов он постарался облегчить богослужения: в Ломбэ основал доминиканский монастырь. Как и его отец, он никогда не упускал случая набожно следовать за священниками, которые шли причащать больных.
Герцогиня помогала мужу во всех его благотворительных начинаниях, не пренебрегая, однако, светскими обязанностями. Она всегда была около супруга на праздниках и приемах, оживлявших маленькую столицу. Замок был достроен, а владения расширены за счет покупки соседних земель. В жизни герцогской семьи мирно чередовались земные и небесные заботы. Катастрофа случилась в 1546 году — у герцогини началась анемия. Врачи не знали, чем ее лечить. Герцог искал спасения своей супруги в молитвах.
Однажды, молясь, он настойчивее, чем обычно, попросил Христа о выздоровлении Элеоноры. Вдруг ему показалось, что фигура на распятии ожила, и он отчетливо услышал слова, воспроизведенные позже во время процесса его канонизации: Si tu quieres que te deje a la Duquesa mas tempo en esta vida, yo lo dejo en ti mano. Pero te aviso que a ti no te conviene esto (Если ты хочешь, чтобы я сохранил пока жизнь герцогине, я даю тебе возможность самому принять решение. Но я предупреждаю, что это тебе не нужно).
Герцог воззвал к Богу в пылкой молитве: «О, Господи, самое малое, что я могу сделать в ответ на Твою бесконечную милость и великодушие, это вручить Тебе жизни моей жены, моих детей, мою собственную жизнь и все, чем я владею на этом свете. Все это я получил из Твоих рук. Я возвращаю Тебе все, моля Тебя располагать этим, как на то будет воля Твоя».
Он рассказал о видении своему духовнику. В связи с этим у него появилось твердое убеждение, что после смерти герцогиня обретет вечную жизнь. Поэтому он стойко принял последний вздох своей супруги, мысленно произнеся однажды им данную клятву у открытого гроба императрицы-королевы в Гренаде.
Герцогиня умерла 27 мая 1546 года. Герцогу было 36 лет, и его связывала семья. Он не мог покинуть мир, не обеспечив будущего пятерым сыновьям и трем дочерям. Он откровенно рассказал об этом Игнатию Лойоле, потому что еще со времени встречи с отцом Антонио Араосом между ним и генералом установились дружеские отношения. Здесь стоит привести ответ Лойолы. В нем содержится новая форма вступления в Общество Иисуса — тайное обязательство. Польщенный просьбой герцога, генерал немедленно согласился. Он воззвал к Господу, прося указать новому Иезуиту, когда и как ему следует публично объявить о своем вступлении в Общество, и высказал при этом и свое мнение:
«Мне кажется, для того, чтобы вы могли как можно лучше выполнять все ваши обязательства, эти изменения должны происходить с желанием и большой осмотрительностью, во славу Господа Бога нашего. Тогда вы сможете постепенно решить все ваши проблемы так, что даже не открываясь никому из мирян, через некоторое время освободитесь от всего, что сможет задержать исполнение ваших святых желаний.
В пояснение я могу сказать, что так как вашим дочерям пора выходить замуж, то вы думаете обеспечить им соответствующее их рангу положение и женить маркиза, если для него представится подходящая партия. Остальным сыновьям недостаточно иметь только поддержку вашего старшего сына, который унаследует герцогство, — вы должны будете оставить средства для завершения их обучения в одном из главных университетов и средства для честной жизни. Остается верить, что, если они окажутся такими, какими они должны быть, и, надеюсь, они такими станут, Император окажет им милости в соответствии с вашими заслугами и из расположения к вам.
Полезно также продолжать стройки, вами начатые. Потому что мне хотелось бы, чтобы все ваши домашние дела были завершены, когда мы сообщим о переменах в вашей жизни. Однако так как вы сведущи в словесности, я хотел, чтобы вы серьезно занялись изучением теологии, и я надеюсь, что эта наука вам более будет нужна, чтобы служить Богу. Я желал бы даже, если, конечно, это возможно, чтобы вы получили степень доктора вашего университета в Гандии. Но в связи с тем, что в миру не в силах будут принять новость такого рода, я хотел, чтобы все произошло без особой пышности и все это сохранялось в тайне, пока время и обстоятельства дадут нам, с Божьей помощью, полную свободу действий».
Герцог, 2 июня 1546 года тайно давший обеты целомудрия и послушания, а также обет вступить в Общество Иисуса, вскоре принялся за дело. Его маленькими детьми занималась сестра его супруги — донья Хуана де Менессес. В 1548 году восемнадцатилетний маркиз де Ломбэ женился на донье Магдалене де Сентельяс и Кордона, графине д’Олива. В 1549 году старшая дочь Исабель вышла замуж за дона Франсиско де Сандоваля и Рохас, маркиза де Дениа и графа де Лерме. Впоследствии другие дети тоже заняли завидное положение в свете: Хуан — вице-король Португалии, Альваро — посол при Святом Престоле, Фернандо — рыцарь ордена Калатравы, Алонсо — императорский камергер; его вторая дочь выйдет замуж за Хуана Энрикеса де Аламансу, маркиза д’Алканисе, а последняя — Доротея — станет монахиней в обители Бедных Кларисс Гандийских.