В то самое время, когда преподобный Иосиф принужден был вести такую прискорбную борьбу с Вассианом и вообще с белозерскими старцами, ему суждено было испытать и другое горе собственно как настоятелю обители. Волоцкий князь Борис Васильевич, столько благодетельствовавший Иосифу при основании ее, давно уже скончался. Новый князь Федор Борисович, двоюродный брат великого князя Василия Ивановича, сначала также был расположен к Иосифу и подарил его обители село, но потом совершенно изменился. Обобрав понемногу церковную казну в трех других монастырях своей области: Возмицком, Селижаровском и Левкееве, князь начал то же самое делать и с монастырем Иосифа, особенно по смерти своей благочестивой матери княгини Ульяны Михайловны (1503). Он брал у монастыря деньги взаймы и не отдавал, покупал у него некоторые вещи за полцены, а другие, наиболее ценные, требовал себе даром и если встречал отказ, то поносил игумена и грозил бить кнутом чернецов. Из страха князю посылали иногда иконы знаменитых иконописцев - Рублева и Дионисия, коней, одежды, деньги; но он все оставался недовольным, продолжал делать насилия, повторял свои угрозы инокам и велел сказать игумену: "Пусть идет он, куда хочет, если не желает исполнять мои повеления, а я намерен держать монастырь по своей воле". Преподобный Иосиф действительно думал было удалиться из обители; но просьбы братии удержали его, и он, припомнив, как при митрополите Ионе три монастыря - Троицко-Сергиев, Каменный и Толгский перешли от насилия удельных князей в ведение великого "князя Василия Васильевича, решился сам искать того же для своей обители. С этою целию он прежде всего послал одного из своих старцев (Игнатия Огорельцева) к епархиальному архипастырю испросить благословение на свое предприятие. К несчастию, в Новгороде тогда в продолжение трех лет (1505-1508), преимущественно осенью, свирепствовало моровое поветрие и туда никого не впускали, так что старец от Торжка должен был воротиться назад. Тогда Иосиф обратился к митрополиту Симону и, изложив пред ним свои горестные обстоятельства, просил ходатайствовать о принятии его обители под власть великого князя, а у своего архиепископа обещался испросить прощение, когда минет в Новгороде поветрие. Великий князь сначала думал пособить горю иначе: несколько раз писал к Федору Борисовичу, чтобы он прекратил свои насилия Иосифову монастырю, но князь Федор не слушался и еще увеличивал свои притеснения. После этого Василий Иоаннович велел рассмотреть дело на Соборе и по решению всего Собора с благословения митрополита и других святителей взял (1507) Иосифову обитель под свою державу, а в успокоение Иосифа, что он не мог по случаю поветрия испросить предварительного на то благословения от местного архипастыря, велел сказать: "Ты из предела Новгородской архиепископии не отошел; я взял монастырь твой только от насилия удельного князя, а к архиепископу сам пошлю, как минет земская невзгода". Иосиф очень обрадовался, а князь Федор сильно оскорбился. Он послал сказать архиепископу Серапиону: "Иосиф без твоего ведома и благословения отписал от тебя свой монастырь". Сам же начал умолять Иосифа, чтобы простил его и возвратил под власть его монастырь, давая обещание измениться. Иосиф простил князя, но сказал ему, что монастыря вопреки воле великого князя и митрополита возвратить не может. Когда в Новгороде поветрие прекратилось, Иосиф отправил своего старца ко владыке Серапиону объяснить ему, ради какой нужды без его ведома и благословения бил челом великому князю и митрополиту о своем монастыре. Серапион не принял ни старца, ни принесенной им иконы и велел объявить Иосифу, что гневается на него. Иосиф известил о случившемся великого князя и напомнил ему, как он обещал сам снестись с архиепископом. Князь сознался, что забыл исполнить обещание, но советовал Иосифу не скорбеть и сказал: "Я взял твою обитель только от насилия удельного князя, архиепископу не за что тут на тебя злобиться, посмотри внимательней - не виноват ли ты в чем другом". Между тем князь Федор Борисович вместе с архимандритом Возмицкого монастыря Алексеем Полиемовым старался еще сильнее вооружить Серапиона против Иосифа: действовал на владычных бояр, в особенности на какого-то Кривоборского, богатыми дарами, а те действовали на владыку. И вот Серапион, несмотря на то что прошло уже два года со времени поступления Иосифовой обители под власть великого князя, не выслушав никаких объяснений от Иосифа, не снесшись ни с великим князем, ни с митрополитом, прислал Иосифу свою грамоту, которою налагал на него запрещение и отлучение за то, что он "отступил от небесного, а пришел к земному", т. е. от князя волоколамского к князю московскому, как поняли эти слова и сам Иосиф и потом великий князь Василий Иванович. Действие Серапиона, как легко понять, должно было до крайности уязвить не одного Иосифа, но и самого великого князя, самого митрополита и всех святителей, по решению которых князь и принял обитель Иосифа в свое ведение. Потому неудивительно, что когда Серапион вслед за тем послал к митрополиту своего посла с грамотами, прося себе покровительства, посла целую зиму продержали в Москве и отпустили ни с чем; а когда сам Серапион собрался было ехать в Москву, великий князь приказал своим наместникам отобрать у него детей боярских и коней. Иосиф с глубокою скорбию покорился решению своего епархиального владыки: не священнодействовал, не приобщался Святых Тайн и все ожидал, что он одумается и смягчится. Когда же ожидания эти оказались напрасными, Иосиф послал жалобу митрополиту, в которой, изложив кратко весь ход своего дела, между прочим, говорил: "Ныне, в Великое говенье, как тебе известно, государь, прислал на меня Новгородский архиепископ Серапион неблагословенную грамоту, а написал в ней: "Ты отказался от своего государя в великое государство, и за такое великое бесчиние ты чужд священства и нашего благословения". Но тебе, государю нашему, ведомо, что ни в Божественном Писании, ни в летописях, ни в обычаях земских того не бывало; какое великое бесчиние в том, что я посылал бить челом государю большему, да тебе, большему святителю, чтобы монастырь мой не запустел? И в священных правилах не написано, чтобы за такие вины отлучать от священства и не благословлять кого". Митрополит немедленно подверг жалобу рассмотрению Собора и известил Иосифа, что Собор на основании священных правил разрешает его и благословляет, а Серапиона великий князь требует в Москву. На Соборе, который происходил в июле 1509 г., в присутствии самого великого князя три раза спрашивали Серапиона: за что он отлучил игумена Иосифа и по каким церковным правилам? И Серапион ничего не отвечал, кроме того что он волен в своем чернеце, волен вязать его и разрешать. На вопрос великого князя: "За что ты назвал князя Федора небесным, а меня земным?", - Серапион также не нашелся сказать ни одного слова и тем подтвердил, что и сам придавал этим своим словам действительно такой, а не другой смысл. Затем спрашивали Серапиона, почему он отлучил Иосифа, не снесшись ни с великим князем, ни с митрополитом; почему молчал целые два года, не требовал никакого объяснения от Иосифа и вдруг отлучил его, очевидно поддавшись внушениям сторонних людей. Но Серапион вместо ответа начал только свариться со всеми - с великим князем, с митрополитом и прочими святителями и говорил: "Про то я ведаю, почему не благословил, а вам какое до того дело? Волен я в своем чернеце, как и князь Федор волен в своем монастыре, хочет - грабит, хочет жалует". Не получив от подсудимого архиепископа удовлетворительных объяснений, Собор на основании четвертого правила VII Вселенского Собора (которое гласит, что епископ, отлучивший кого-либо из своих клириков по своей страсти, должен быть сам подвергнут тому, чему подвергал другого) запретил и отлучил Серапиона, а Иосифу дал разрешительную грамоту, в которой кратко, но резко изобразил виновность Серапионову. Заточенный сначала в Андроников монастырь, Серапион чрез два года (в мае 1511 г.) перемещен был в Троице-Сергиев, где прежде был игуменом, и написал митрополиту Симону послание, в котором сильно порицал Иосифа за то, что он самовольно, без благословения своего владыки перешел в чужой предел, будто бы по гордости и презорству, и тем произвел вражду и смущение в Церкви, называл его ябедником, вторым Иудою и уподоблял Григорию Цамблаку; а также порицал самого митрополита и весь Собор за то, что они, будто бы вопреки священным правилам, Иосифа разрешили и благословили, а его, Серапиона, будто бы "прежде суда" от Церкви отлучили, и сана лишили, и заточению предали, и говорил, что он, несмотря на решение Собора, не снимает с Иосифа своего запрещения и считает его низверженным.