В течение последующих двух десятилетий фирма сохраняла еще одну семейную связь, хотя и дальнюю - лорд Джон Чолмондли (сын Сибил) был председателем совета директоров в течение нескольких лет. Компания David Sassoon & Co. появилась в списке банков и лицензированных депозитных учреждений, опубликованном в 1981 году. В 1982 году Джеральд Паншо, посторонний человек, управлявший фирмой, договорился о ее продаже биржевым брокерам Rowe Rudd примерно за 2 миллиона фунтов стерлингов. Некогда процветающий торговый дом окончательно исчез с финансовой карты Лондона; общая сумма его депозитов упала до нескольких миллионов, а прибыль составляла чуть более 100 000 фунтов стерлингов. Хотя фирма теперь контролировалась Rowe Rudd, она продолжала работать независимо из офиса в Haymarket, в лондонском Вест-Энде, имея собственную условную лицензию на прием депозитов. Однако в августе 1983 года Банк Англии отозвал лицензию, поскольку его обеспокоил коэффициент ликвидности банковского подразделения Sassoon, а также то, что такой маленький банк должен заниматься финансированием проектов в международном масштабе. Компания сначала подала апелляцию на это последнее унижение, но через неделю смирилась и ограничила свою деятельность торговым банком. В 1988 году Министерство торговли и промышленности заявило, что два бывших партнера Rowe Rudd, включая Тони Радда, "абсолютно непригодны для того, чтобы быть директорами любой компании, как частной, так и государственной". Когда именно компания David Sassoon & Co. официально прекратила свое существование, неизвестно - нет никаких записей о ее ликвидации. Это бесславный конец для мощного центра мировой торговли, компании, которая конкурировала с Tatas и однажды обошла Jardine Matheson.
После национализации активов E. D. Sassoon в Китае в 1949 году и вынужденного отъезда из Шанхая по фирме был нанесен тяжелый удар, но она выстояла. Виктор снова попытался ограничить свои обязательства и выбрал Багамы в качестве базы для продолжения бизнеса вдали от традиционных центров Китая и Индии. Оказавшись там, он вернулся к своим старым привычкам. Одна американская газета сообщила, что "молодая актриса британского происхождения Вирджиния Филд" и ее маленькая дочь провели зиму 1950 года на Багамах и что Виктор купил ребенку красный велосипед. В его дневнике за тот год есть фотографии, на которых они запечатлены в экспедициях по Багамским островам и на рыбалке на Виргинских островах США. Однако отношения с Вирджинией Филд не продлились долго, и в его дневнике есть вырезка из прессы со статьей о ее длительном романе с американским актером Уиллардом Паркером (за которого она позже вышла замуж). Он по-прежнему фотографировал людей, с которыми встречался или отдыхал, включая некоторых моделей, но уже не так часто, как в шанхайские времена. Скачки по-прежнему занимали много его внимания, и на этой арене, по крайней мере, он смог монетизировать некоторые из своих активов: Отставной жеребец-чемпион был отдан в разведение за 294 000 долларов (3 миллиона долларов сегодня), хотя ранее он отклонил предложение американцев купить лошадь за миллион долларов. В одной из спортивных газет говорилось, что у Виктора "больше лошадей в конюшне, чем у любого другого покровителя", и подробно описывались качества каждой из них. Его страсть к лошадям и скачкам сохранилась на всю жизнь. Он написал статью и дал интервью по вопросу о допинге для скаковых лошадей, а также внимательно следил за новостями скачек в нескольких странах. " Скачки были для него не просто хобби миллионера. Он занимался ими с самоотдачей, которая часто имела оттенок безжалостности".
Дневники Виктора начала 1950-х годов свидетельствуют о том, что он делал прямо противоположное тому, что предсказывал журнал Fortune в 1930-х годах - что он "возведет здание Сассуна на новую высоту". На сайте почти нет упоминаний о бизнесе фирмы или о каких-либо новых проектах. Даже его способности к предвидению ослабевали: Во время турне по Соединенным Штатам он сказал журналистам: "В прежние времена я мог понять экономическую картину", но в новом послевоенном порядке он "не более способен предсказать, что будет дальше, чем мы можем предсказать, какую шляпку выберет женщина". Он чувствовал потерю Овадьи, своей правой руки, который до лета 1952 года находился в Шанхае по вине китайских властей, не позволявших руководителям иностранных фирм покидать страну до уплаты всех налогов. Освободившись, Овадия вылетел в Гонконг и далее в Лондон, где встретился с Виктором и подал в отставку на месте. Он давно планировал уехать на юг Франции, но воспользовался случаем, чтобы покритиковать решение Виктора передать E. D. Sassoon Banking Co. контроль над гонконгским филиалом и подчинить его штаб-квартире в Нассау, как он поступил с манчестерским и лондонским филиалами (последним управлял капитан Дерек Баррингтон Фицджеральд, который был женат на двоюродной сестре Виктора). Овадия видел блестящее будущее Гонконга и считал, что было бы ошибкой отказываться от занимаемых там позиций, тем более что филиал держал выгодные агентства от имени некоторых крупных международных фирм. Нассау, однако, стремился к расширению на Багамах и запуску торговых банковских операций в Европе и Азии, продавал недвижимость в Гонконге, и хотя Arnhold & Co. все же обратил свое внимание на этот город, он тоже был продан в 1957 году семье Грин. Отказ от владения активами в Гонконге в конечном итоге оказался стратегической ошибкой, и E. D. Sassoon исключил себя из того, что стало одной из величайших историй экономического успеха второй половины двадцатого века.
Виктор, которому сейчас около семидесяти, получил болезненную травму позвоночника в 1953 году. В результате несчастного случая у него была повреждена нога, и он вынужден был сесть в инвалидное кресло, которое стало для него проклятием еще с тех времен, когда его отец был прикован к нему. Как только он смог, он начал использовать трости - пару, а не одну, на которую он полагался со времен Первой мировой войны. Помимо боли, Виктор стал раздражительным из-за осознания того, что ему придется примириться с тем, что его путешествия с Багамских островов в Британию и по всему миру больше не будут возможны и что ему потребуется постоянный уход. Во время лечения в Нью-Йорке его поразила "бодрая работоспособность" одной из медсестер, Эвелин Барнс по прозвищу Барнси, родом из Техаса. Эти новые отношения привнесли в его жизнь оживление и энергию, а ее терпение и понимание покорили его сердце. В апреле следующего года супруги навестили ранчо ее семьи в Далласе, где Виктору всегда устраивали барбекю. Он страдал от депрессии - один из особенно тяжелых эпизодов последовал за новостью о том, что китайское государственное предприятие захватило собственность его фирмы в Шанхае и переименовало Cathay Hotel в Peace Hotel. Барнси поняла, что путь к его сердцу лежит через лошадей, и с головой погрузилась в изучение скачек и кровного поголовья. На страницах газет сплетен появились предположения о том, будет ли это очередная интрижка или нечто большее: "Несколько международных красавиц беспокоятся о сэре Викторе Сассуне... считающемся самым богатым холостяком в мире", - сообщала одна из газет, а другая пестрела заголовком "Сестра сэра Виктора - немезида красавиц". К концу года Барнси стала его постоянной спутницей и почти ежедневно упоминалась в его дневниках. Однако Виктор становился все более слабым, и в 1957 году он упал в своем доме на юге Франции, что привело к осложнениям со здоровьем. В следующем году он заболел в Аскоте, и врачи посоветовали ему держаться подальше от ипподромов и отказаться от сигар. По нескольку дней подряд он проводил в больницах или был прикован к постели, но не терял чувства юмора: в свой дневник он вклеил открытку с пожеланиями выздоровления, на которой была изображена большая утка, лежащая на кровати, и гласила: "Приземлился? Очень жаль. Но просто отдохните немного..."
В деловой сфере тоже не было никаких подвижек. В Нассау была создана Багамская трастовая компания. Ее основными спонсорами были Barclays Bank, Royal Bank of Canada и E. D. Sassoon Banking Co, все отделения которых располагались в Нассау. Банки и трастовые компании появились на Багамах, чтобы обслуживать зарубежные компании и частных лиц, пользующихся статусом налогового убежища на островах. Здесь нет ни подоходного налога, ни налога на прирост капитала, ни ежегодного налога на компании.
Виктор был типичным богачом, который был в восторге от отсутствия налогов на Багамах, но сказал, что если бы он был молодым человеком, то отправился бы в Южную Америку, чтобы сколотить свое состояние. Багамы находились под британским контролем более трех столетий, получив независимость только в 1973 году, и кажется показательным, что семья, чье состояние было так тесно связано с Британской империей, оказалась в британской колонии. Налоговые убежища - это явно современное явление , истоки которого уходят в конец XIX века. Только после Первой мировой войны страны начали разрабатывать комплексную политику, чтобы стать налоговыми гаванями. С распадом Британской империи Британия создала новую, более скрытую финансовую "империю" налоговых гаваней, через которые проходили огромные суммы денег, не в последнюю очередь из бывших колоний или тех, которые в скором времени получат независимость.
Приток капитала и рост туристической индустрии на Багамах вызвали большой бум в сфере недвижимости и строительства. Развитие было ориентировано на очень богатых людей, появлялись роскошные отели и эксклюзивные клубы. Помимо банковского дела, единственным отпечатком бизнеса Сассунов на островах стала недвижимость. Было объявлено, что Виктор и застройщик из Флориды построят пятиэтажный многоквартирный дом в районе Кейбл-Бич в Нассау, цена квартир в котором будет варьироваться от 35 000 долларов за одну спальню до 400 000 долларов за пентхаус, а стоимость - 5 миллионов долларов. Он купил землю в клубе Lyford Cay, как и Генри Форд II и Рой Ларсен, исполнительный председатель совета директоров Time и Life. К концу 1950-х годов Виктор сколотил свое состояние на Багамах, вдали от презираемых налоговых органов, хотя вряд ли он зарабатывал значительные деньги где-либо еще.