Прадед его Александр, или Саня, вышел из Литвы при Димитрии Ивановиче Донском и получил от него в отчину село Язвище в осьмнадцати верстах от Волоколамска. В этом-то селе 12 ноября 1440 г. и родился Иосиф и назван Иоанном. На осьмом году, будучи отдан для воспитания старцу Арсению в волоколамский Крестовоздвиженский монастырь, Иоанн весьма скоро не только обучился грамоте и письму, но и почувствовал в себе влечение к благочестивой жизни и часто посещал церковь, где читал и пел. Чрез несколько времени он поступил в другую волоколамскую обитель - Пречистой Богородицы на Возмище и как самый ревностный послушник прожил в ней до двадцатилетнего возраста, приготовляясь к иночеству. Оттуда, чтобы найти себе надежного руководителя, отправился он к знаменитому тогда подвижнику Варсонофию, жившему в пустыне близ Саввина тверского монастыря. Варсонофий дал юноше совет - идти в Боровск к преподобному Пафнутию. Прозорливый старец с любовию принял прибывшего и постриг его (13 февраля 1460 г.), назвав его Иосифом. С величайшею ревностию и терпением проходил молодой инок одно за другим тяжкие послушания: в поварне, хлебопекарне, при больнице. Потом, как уже испытанного, взял его Пафнутий к себе в келью под свое непосредственное руководство, а в церкви сделал екклесиархом. Достойно замечания то, что, сделавшись иноком сам, Иосиф вскоре убедил и родителей своих последовать его примеру: отец его Иоанн, больной и расслабленный руками и ногами, принял пострижение в Пафнутиевом монастыре с именем Иоанникия, поселился в одной келье с сыном и в продолжение 15 лет до самой своей смерти пользовался его услугами, а мать, Марина, постриглась под именем Марии в волоколамской женской обители святого Власия и прожила еще тридцать лет в строгом подвижничестве. За родителем поступили в Пафнутиев монастырь и братья Иосифа - Вассиан и Акакий, из которых первый был впоследствии архиепископом Ростовским (1506-1516), а последний - епископом Тверским (1525-1546). Когда преподобный Пафнутий приближался к могиле и братия просили его назначить себе преемника, старец прямо указал им на Иосифа, который уже семнадцать лет трудился в обители и превосходил всех своим разумом, добродетелями и другими совершенствами, а Иосифу завещал, чтобы он не поддержал только, а улучшил в монастыре некоторые обычаи. Ревнуя исполнить эту священную волю своего наставника, Иосиф, посвященный в сан пресвитера и игумена митрополитом Геронтием (1477), немедленно думал ввести в своей обители самое строгое общежитие, которое дотоле не вполне в ней соблюдалось. Но, встретив несогласие со стороны старцев, за исключением семерых, он, едва прошел год его игуменства, решился оставить свой монастырь, облекся в худые, нищенские одежды и в качестве послушника ученика одного из единомысленных ему старцев, Герасима Черного, отправился обозреть и изучить устройство других общежительных монастырей. Протекло около года в таком путешествии, и Иосиф, которому более всех монастырей понравился Кирилло-Белозерский по своему строгому общежитию, возвратился домой еще с сильнейшим желанием ввести у себя такое же общежитие. Но как и теперь в среде братии он не нашел себе сочувствия, то признал за лучшее оставить навсегда Пафнутиев монастырь и удалился с семью преданными ему иноками (в том числе были и его братья) на свою родину, в пределы Волоколамска.
В Волоколамске княжил тогда родной брат великого князя Иоанна III Борис Васильевич. Он с любовию принял Иосифа, подарил ему избранное им место для обители в 13 верстах от города и сам исходатайствовал благословение епархиального владыки Новгородского на построение здесь деревянной церкви, которая 6 июля 1479 г. и была заложена, а 15 августа уже освящена в честь Успения Божией Матери. На первых порах новая обитель терпела нужду. Но скоро нашлись благотворители. Местный князь и княгиня со своими детьми, сам великий князь и его супруга, Новгородский владыка Геннадий и некоторые другие богатые люди наделяли обитель кто деньгами, кто селами, землями и угодьями. Скоро также начала и населяться она частию иноками, переходившими сюда из Пафнутиева монастыря, а более мирянами всякого звания, искавшими здесь пострижения. В числе последних немало было бояр, детей боярских и торговых людей, которые при поступлении своем в обитель жертвовали на нее не только по двадцати, тридцати и пятидесяти рублей, но и по сту, и по двести и тем увеличивали средства для ее благоустроения.
В 1485 г. Иосиф соорудил каменный храм Успения Божией Матери и поручил расписать его лучшим иконописцам, а впоследствии соорудил и другие храмы. Когда число братии достигло до ста человек, преподобный увидел наконец возможность осуществить свою давнюю задушевную мысль и ввел между ними строгий общежительный устав по примеру монастыря Кирилло-Белозерского. Сам же служил примером для всех братий. Одежду носил такую убогую, что его не отличали от других иноков; пищу вкушал большею частию только через день, а ночи проводил в молитве. Первым являлся в церковь, где часто читал и пел на клиросе и говорил поучения; первым выходил и на общие работы и участвовал в них наравне с другими. Неусыпно следил за поведением иноков днем и ночью и обращал особенное внимание на их душевное состояние: вразумлял, утешал и подкреплял словом совета и силою своей молитвы. Но не для одной только обители, а и для всей страны преподобный Иосиф сиял, как светило, по выражению его древнего жития. Он действовал и силою своего необыкновенного благочестия и вместе своим разумом и книжною мудростью, своим редким даром слова и увлекательными, всегда назидательными беседами. Воины и воеводы, бояре и вельможи, сановники и князья - все искали возможности видеть его, послушать его сладкой речи, воспользоваться его наставлениями и советами, а многие избирали его себе в духовника. И слово святого старца приносило чудные плоды: грешники обращались к покаянию и оставляли свои злые обычаи; люди гордые и свирепые делались смиренными и кроткими, и "вся тогда Волоцкая страна к доброй жизни прилагашеся". Участь бедных, поселян и слуг составляла предмет его особенной заботливости. Он убеждал господ, иногда писал им, чтобы они не отягощали и не обижали своих слуг и крестьян, обходились с ними по-человечески, согласно с внушениями нашей святой веры. И многие господа слушались его уроков, а слуги благословляли его имя. Епархиальный владыка Геннадий весьма любил и уважал Иосифа, часто сносился с ним, сделал его своим наместником над церквами Волоколамской области, поручил ему церковный суд в ней и сбор церковных доходов, уделяя ежегодно часть их Иосифовой обители. Такого-то помощника избрал себе Геннадий для борьбы с жидовствущими.
Одушевленный ревностию по вере, готовый потерпеть за нее страдания и смерть, Иосиф смело выступил против еретиков и начал (около 1493 г.) писать против них свое знаменитое творение, известное под именем "Просветителя". Он не щадил отступников от христианства, и в особенности главу их митрополита Зосиму, называл его Иудою предателем, предтечею антихриста, первенцем сатаны, злодеем, какого не бывало даже между вероотступниками. В то же время Иосиф написал пламенное послание к Суздальскому епископу Нифонту, на которого, по словам Иосифа, все православные смотрели тогда как на своего главу в борьбе с жидовствующими, и убеждал его, чтобы он постоял крепко против осквернившего святительский престол митрополита, научил православных не ходить к нему, не принимать от него благословления, не есть и не пить с ним, а сам не боялся ни его угроз, ни проклятий, так как проклятия еретика не имеют никакой силы и возвращаются на его же главу, и сами еретики должны подлежать по правилам не только проклятию, но и гражданским казням. Может быть, Иосиф писал такие же послания и к прочим святителям, или и один Нифонт, подвигнутый убеждениями Иосифа, принялся действовать решительно, только кончилось тем, что 17 мая 1494 г. Зосима оставил митрополию "не своею волею" за то, по объяснению одних летописей, что "непомерно держался пития и нерадел о Церкви Божией", а по выражению других, - "за некое преткновение".