Герцог пытается сохранять спокойствие, но отказ Флоренции выдать ему пропускное свидетельство выводит его из себя. 13 ноября, все еще веря в поддержку папы, он просит у Юлия II разрешения уехать. Он считает, что в Остии у него есть пять галер, на которых вместе со своим штабом он сможет отплыть в Геную, а оттуда, через Феррару, в Романью. 19-го он уезжает из Рима не зная, что Юлий II направил в Романью несколько бреве, отличных от тех, что он издал 3 ноября: сбросив маску, папа открыто высказывает неодобрение действиями Александра VI, доверившего своему сыну должность папского викария. Он призывает все население стать под знамена Церкви.
22 ноября, когда Чезаре готов отплыть из Остии, кардиналы Ремолинес и Содерини от имени папы приказывают ему сообщить пароли, открывающие крепости Романьи под предлогом необходимости организации сопротивления венецианцам до прибытия Чезаре. Герцог, задетый этим требованием, заранее сводящим на нет его планы, отказывается. Вскоре капитан папского флота арестовывает его, исполняя тайный приказ Юлия II. Папа нарушает последнее обязательство по договору, заключенному с Чезаре: 24 ноября он назначает преданного ему губернатора Романьи — Джованни Сакки, архиепископа Рагузы. Авторитарный акт положил конец существованию Романьи как независимого герцогства. Это не смогло обмануть жителей Чезены; когда Антонио дель Монте зачитал документ, они начали кричать, что требуют возвращения своего герцога.
29 ноября де Валентинуа, по-прежнему отказывающийся сообщить пароли, как пленник доставлен в Рим. Он заключен в Ватикане в апартаментах кардинала д’Амбуаза. В тот же день по требованию папы Микеллотто Корелла, Таддео делла Вольпе и другие офицеры герцога арестованы в Тоскане. Их войска разоружены. Юлий II приказывает подвергнуть пыткам Микеллотто, «чтобы выяснить все жестокости, хищения, убийства, святотатства и другие преступления, совершенные против Бога и людей за последние десять лет в Риме». В этой ситуации подручный Чезаре доказал свое исключительное хладнокровие. Не дав никаких ценных сведений, он был приговорен только к заключению. Он выйдет из карцера Торре ди Нона в 1506 году и, по рекомендации Макиавелли, будет взят на службу — создаст во Флоренции ополчение подобное тому, что существовало в Романье.
Узнав о пытках и допросе своего доверенного человека, Чезаре осознает, что его предали и он проиграл. Вынужденный смириться с неизбежностью, он сообщает папе требуемые пароли. Педро де Орвиедо, его слуга, сопровождает Карло де Монкалиери, тайного камергера, которому поручено вступить во владение крепостями. В Форли, где боятся возвращения Риарио, отказываются принять эмиссаров. В Чезене, куда им с трудом удалось пробиться через глубокие снега, Педро Рамирес, губернатор Рокка, схватил Орвиедо и повесил его на бойнице как предателя и плохого слугу, не позволив ему исповедаться.
От этой новости папа приходит в ярость. Он приказывает Джорджо Коста, кардиналу Лиссабонскому, и Сан-Джорджо, кардиналу Александрийскому, схватить Чезаре и заключить его в карцер замка Сант-Анджело. Поспешно предупредили испанских кардиналов, им удалось добиться, чтобы герцога перевели в башню Борджиа в Ватикане: для него выделили две комнаты, которые занимал герцог Бисельи, когда его приказали задушить. Посол Каттанео сообщает, что Чезаре плакал, пока его туда вели.
Кардиналы Франсиско Ремолинес де Илерда и Пьетро Луиджи Борджиа, архиепископ Валенсии, бегут в Неаполь с двумя «римскими инфантами» и внебрачными детьми де Валентинуа. Они собираются попросить у Гонзальве Кордуанского пропускное свидетельство для Чезаре от имени Его Католического Величества. В это время Юлий II конфисковал все имущество герцога. Он заявляет, что использует его, чтобы возместить убытки тех, кто может пожаловаться на герцога. Гвидобальдо Урбинский требует компенсацию в 200 000 дукатов. На такое же вознаграждение претендует Флоренция, а Риарио, племянники папы, требуют 50 000. Материальное разорение Чезаре обеспечено. Страстный коллекционер герцог Урбинский стремится, прежде всего, вернуть свою прекрасную библиотеку. Де Валентинуа приказал отвезти ее к герцогу под охраной папской гвардии. Он умоляет свою жертву о прощении. По свидетельству Уголини, он «два раза склоняется в глубоком поклоне, винит во всем свою молодость, плохие советы, злые поступки и совершенно извращенный характер папы и тех, кто толкал его на эту затею. Он проклинает память своего отца. Он обещает вернуть все то, что забрал в Урбино, кроме гобеленов История Трои — их он подарил кардиналу Руанскому». Все это выглядит очень странно для тех, кто знал высокомерие и гордость Чезаре во времена процветания. Но это легко объясняется, если вспомнить изворотливость и отсутствие всякой щепетильности в характере де Валентинуа: он готовит будущее, потому что верит, что фортуна переменчива и позволит ему восстановить свое положение, возможно, даже с помощью его бывшей жертвы. Но на этот раз он ошибается — все это вызывает только насмешки.
Скорее всего, один из свидетелей этой унизительной сцены в Ватикане некоторое время спустя поставит на сцене в Урбино историю Борджиа. Спектакль — настоящий обзор событий, прославляющих Гвидобальдо, — состоится 19 февраля следующего года во дворце в Урбино. Как повествует летопись Уголини, в сценах представлены захват герцогства Урбинского, любезный прием, оказанный Лукреции, когда она ехала в Феррару, затем Гвидобальдо, захваченного врасплох, и его поспешное бегство. Следующая картина, в затемнении, показывает казнь кондотьеров в Синигалье и, наконец, божественное возмездие — смерть папы Александра и триумфальное возвращение Гвидобальдо в свое государство. Эта безжалостная трагикомедия — одно из первых литературных воплощений мрачной легенды о Борджиа. Она стала продолжением жестоких памфлетов, появлявшихся в течение всего правления Александра VI, но ее целью было опорочить в веках память о папе и его семье.
В своем несчастье де Валентинуа узнал, кто же является его истинными друзьями. Когда Макиавелли приходит навестить его, герцог, лежа на постели, наблюдает, как люди из его свиты играют в шахматы — точно так же Александр на своем смертном одре смотрел на кардиналов, игравших в карты. Иногда к нему приходит побеседовать какой-нибудь испанский кардинал. Его бывший наставник Джованни Вера остался одним из самых преданных людей. Чезаре комментирует события, с едкой иронией отзывается о своих врагах, смеется над теми, кто боится его — больного и в оковах. Где-то далеко у него остались еще преданные ему люди: капитан Таддео делла Вольпе, заключенный в тюрьму во Флоренции, отказывается обменять свою свободу за обязательство служить республике; казначей Алессандро Франчио сохраняет для него 300 000 дукатов, помещенных в банки Флоренции и Генуи. Герцог, когда-то очень деятельный человек, теперь лишенный возможности действовать и двигаться, начал чахнуть. «Понемногу он сводит себя в могилу», — пишет Сеньории Макиавелли после своего последнего посещения герцога.
Но удача пока не совсем отвернулась от герцога. 3 января 1504 года в Ватикане узнают о новой великой победе Гонзальве Кордуанского: 28 декабря в устье Гарильяно он вынудил французов отступить. 1 января 1504 года Гаэта, в которой они укрылись, сдается. 4-го в Риме узнают об этом, а также о беспорядочном бегстве французов и смерти Пьетро Медичи во время переправы через пограничную реку. Эти события утверждают власть Их Католических Величеств над Неаполем и укрепляют позиции испанской партии в Риме. Испанский посол Диего де Мендоса выступает в защиту плененного герцога. 19 января найден компромисс: Чезаре отказывается от претензий на герцогство, получая взамен свободу; в течение сорока дней он обязан передать укрепленные города Романьи, пока еще находящиеся в руках его капитанов. 29-го папа подписывает этот акт. 14 февраля он разрешает герцогу уехать в Остию. Де Валентинуа останется там до конца исполнения договора под охраной де Карвахаля, кардинала де Санта-Кроче. Последним препятствием становится поведение Гонзальве де Мирамонте, коменданта крепости Форли. Он требует у папы вознаграждения в 15 000 дукатов за передачу ему города. 6 апреля Чезаре обязуется сам выплатить требуемую сумму. Он считает, что теперь ничто не препятствует его освобождению и намеченному отъезду во Францию — у причала пришвартованы ожидающие его папские галеры. Но из Рима никаких приказов не поступает. И тогда Карвахаль, не знающий тайных планов папы по отношению к Чезаре, берет на себя ответственность и освобождает его 26 апреля, предварительно заставив подписать обязательство никогда не выступать против Юлия II с оружием в руках.