Тем временем Казанова переживал не лучшие дни. Страх вновь впасть в немилость и быть отправленным в изгнание не оставлял его ни на минуту. Каждое утро внутренний голос нашептывал ему: новая ссылка неминуемо будет означать, что он больше никогда не увидит Венецию. И Казанова исписывал лист за листом, критикуя пороки, присущие человеческой натуре, и не указывая ни на кого конкретно. Отчеты его более всего напоминали хвалебные трактаты во славу ханжества и лицемерия и нисколько не походили на доносы. Временами ему чудилось, что Венеции угрожает внешний враг, и тогда он принимался расписывать потенциальных противников Республики и изобретать всевозможные способы ее обороны. Его стали почитать визионером, однако докладам этим значения не придавали. А когда пустые рассуждения его вконец наскучили, было решено отправить его в Триест — наблюдать за маневрами австрийцев, стремившихся поставить под контроль порт Фьюме (теперь Риека), находившийся на подвластной Республике территории Далмации, угрожая тем самым торговым интересам венецианцев.

Вернувшись из Триеста, Казанова продолжил лихорадочно писать отчеты. С гневом обрушился он на книгопродавцев и читателей, дерзавших продавать, покупать и читать нечестивые сочинения Вольтера и Руссо, переводы трактатов Спинозы, не говоря уже о сочинениях Макиавелли или Аретино. Еще большее возмущение вызывали у Казановы студенты художественной академии, дерзавшие рисовать обнаженные тела натурщиков и натурщиц. Прилежание Авантюриста в сочинительстве инвектив было поистине похвальным, однако у всех, кто знал Казанову ранее, оно вызывало только усмешку. Чем больше он старался, тем меньше верили в его искренность. Его это обижало; страшный призрак изгнания, беспрестанно витавший над ним, вселил в его душу такой панический ужас, что временами он сам начинал верить тому, что сочинял по долгу службы. Желчное настроение Казановы нашло свое отражение в анти-вольтеровском памфлете «Размышления над похвальными словами господину де Вольтеру» (1779), где он ядовито и небеспристрастно высмеивал изданное французами собрание академических похвал скончавшемуся год назад великому просветителю, которого продолжала оплакивать безутешная Европа. Сознавая, что подобное сочинение не принесет ему славы, он, выливая на его страницы всю накопившуюся за многие годы неприязнь к Вольтеру, надеялся, что оно сослужит ему полезную службу в глазах инквизиторов, ибо в Венеции, как и во многих других европейских государствах, книги Вольтера были внесены в списки запрещенных. Ремесло доносчика ему явно не давалось, и он хотел доказать свою благонадежность хотя бы как критик и полемист. Памфлет никому не понравился, и Казанова пожалел, что потратился на его издание.

Подавленному состоянию Казановы в немалой степени способствовал его новый образ жизни. Привыкший сорить деньгами, быть центром внимания общества, окружать себя красивыми женщинами, посещать увеселения и театры, он теперь жил скромно, редко появлялся на людях, а на спектакли ходил по долгу службы, дабы иметь повод очередной раз разразиться возмущенной речью против падения нравов.

Приставленный шпионом к римскому консулу Агостино Дель Бене, Казанова последовал за ним в Чезену. Там обнаружилось, что консул приехал туда не по дипломатической надобности, а к своей тамошней любовнице. Сам же Казанова встретил в Чезене свою давнюю приятельницу, танцовщицу Бинетти, и та тотчас вовлекла его в вихрь развлечений: балы, празднества, концерты, танцы, ужины. После долгого перерыва Авантюрист вновь вернулся к прежней, привычной для него жизни и, забыв об инквизиторах и старости, веселился от души. Донесения, писанные им в театрах во время антрактов и перерывах между званым обедом и интимным ужином, отличались краткостью и бессодержательностью. Когда же поставленные над ним инквизиторы призвали его к ответу, он, оправдываясь, написал, что всеми способностями своими, всеми знаниями и силами, всем сердцем и умом желал бы он послужить Республике, но, кажется, всего этого ей не требуется. А ремеслом шпиона он заниматься не обучен. Пленник страха вырвался на свободу и стал дерзить сильным мира сего. Ему простили эту дерзость, понимая, что он, вернувшись, сам пожалеет о ней.

В ноябре 1776 года в Дрездене, в возрасте семидесяти семи лет, умерла Дзанетта Фарусси, мать Казановы. Благодаря своему таланту и поддержке курфюрста Саксонского, чьей любовницей она была, Дзанетта стала поистине выдающейся актрисой, и все сорок лет, что она прожила в Дрездене, она играла в придворном театре и выходила на сцену только в заглавных ролях. С самого детства Казанова редко виделся с матерью, которая всегда была где-то далеко, и посему смерть ее не слишком его опечалила, и вскоре он забыл о ней. Через несколько месяцев, в июле 1777 года, его постигла еще одна утрата: от тяжкой болезни скончалась Беттина, его первая юношеская любовь. Ее смерть Джакомо переживал тяжело, ведь вместе с Беттиной исчез безвозвратно кусочек его юности, частичка его самого. Беттина сделала его мужчиной, ей первой он поклялся в вечной любви. Вспоминая свою любовь к Беттине, он невольно начинал вспоминать тех женщин, что дарили ему свою любовь, и душа его покрывалась мраком; жизнь Соблазнителя стремительно уходила в прошлое, Авантюрист превращался в философа.

В том же году Казанова познакомился с Лоренцо Да Понте, личностью примечательной и по-своему выдающейся. Выходец из семьи обратившихся в христианство евреев, Да Понте стал священником (1773) и какое-то время преподавал в семинарии в Тревизо. Быстро перессорившись со своими собратьями по ремеслу, он бросил семинарию и предался дебошу, разврату и азартным играм, совершенно позабыв о своей обязанности служить Господу. Изгнанный в 1781 году из Венеции за предосудительное поведение и безбожие, Да Понте зашвырнул подальше рясу и отправился в Вену, где стал вести жизнь авантюриста, проходимца и распутника. Получив превосходное образование и не обиженный талантами, он писал стихи, трактаты, сочинял либретто для опер Сальери, Мартини и Моцарта («Свадьба Фигаро», «Дон Жуан», «Так поступают все женщины») и пользовался поддержкой многих меценатов. В конце жизни Да Понте уехал в Америку, где обучал итальянской литературе юношей в Колумбийском колледже (теперь университет) и написал объемные воспоминания, занимательный очерк нравов литературной богемы XVIII столетия. Скончался он в Нью-Йорке в 1838 году, там же и был похоронен. Будучи на двадцать четыре года моложе своего знаменитого соотечественника, он пережил его на семнадцать лет.

Казанова сразу почувствовал в Да Понте родственную душу и насторожился. Да Понте тут же вовлек его в спор о латинской просодии и своими вольными и дерзкими суждениями тотчас настроил его против себя. Всегда ревниво относившийся к чужой славе, к старости Казанова стал завистником. Молодость и бесшабашность Да Понте, в соединении с широтой взглядов и остротой ума, раздражали его. Картежник и волокита, эрудит и латинист, он был слишком похож на Авантюриста в молодости. Вспоминая о их первой встрече в своих записках, Да Понте заметил: «Этот странный человек никогда не желал признавать свои ошибки». Покидая Венецию, Да Понте не счел нужным даже проститься с Казановой. Однако в следующую их встречу, состоявшуюся через семь лет в Вене, они примирились. Казанова несколько раз встречался с Да Понте, но из-за внутреннего соперничества отношения их всегда были напряженными. Основной причиной их разрыва стало нежелание Казановы положительно отозваться о стихах Да Понте. В Венеции у Казановы был еще один повод для ревности: в то время, когда Казанова служил осведомителем, Да Понте некоторое время был секретарем у Дзагури, полуофициального покровителя Казановы. Тем не менее, расставшись, друзья-соперники продолжали обмениваться письмами и Да Понте называл Казанову «милым другом» и «возлюбленным синьором Джакомо».

В 1778 году в Венецию проездом из Неаполя прибыл Джузеппе Бальзамо вместе со своей неразлучной Серафиной. Теперь, став основателем влиятельной масонской ложи, проповедником собственного учения, он именовался графом Калиостро, носил дорогое элегантное платье, сверкал драгоценностями, ездил в собственной карете и останавливался в лучших гостиницах. Как только о его приезде стало известно, так сразу же вокруг «бессмертного обладателя философского камня» закружились поклонники и поклонницы. Последних, правда, отпугивала Серафина, ставшая женой загадочной личности и ревновавшая его к особо рьяным адепткам. Казанова предложил Калиостро свои услуги в качестве чичероне, и они несколько дней путешествовали в гондолах по каналам и лагунам, плавали на острова, а вечерами сидели в маленьких тавернах, с удовольствием поглощая дары моря и запивая их молодым белым вином. Видимо, в силу различия характеров Казанова прекрасно нашел общий язык с Калиостро. Расставались они друзьями, и Казанова посоветовал приятелю держаться подальше от Рима, но маг не внял ему. Когда в 1795 году Калиостро скончался в замке Святого Льва в Риме, Казанова вспомнил о своем предсказании и тяжело вздохнул: «Я ему говорил, а он меня не послушался…»