Обращаясь по сему предмету в губернское правление, дума, между прочим, говорила: «Торги были произведены на отдачу принадлежащей городу Егорьевску земли б десятин собственно под огороды, для посева разного рода овощей, а не под устройство красильного заведения, — почему на оное явилось лиц, желающих снять оную под огороды, немного; а если бы торги производить на отдачу той земли под устройство красильного заведения, как торгового, требующего местности близ воды, то тогда явились бы лица, более нуждающиеся в подобной земле, и наддали бы гораздо более, чем Бардыгин».
Рязанское губернское правление 22 сентября 1865 года, ссылавшись на указ свой (о котором говорил и Никифор Михайлович сам), уведомило думу, что «за сделанным вышеозначенным указом губернского правления распоряжением могут быть предпринимаемы меры к извлечению больших выгод для городской казны с земли, находящейся в арендном содержании купца Бардыгина, не иначе, как только по окончании срока настоящей его аренды». В 1868 году у Бардыгиных произошел пожар. Не успел Никифор Михайлович еще отстроиться после пожара, как в том же 1868 году, 18 июля, скончался его отец, Михаил Федорович (59 лет). Он скончался в амбаре, в котором после пожара жило все семейство, пока строили новый дом. В следующем году (28 декабря 1869 г.) умерла его бабушка, Авдотья Ивановна (87 лет), а через полтора года Никифора Михайловича (24 июля 1871 г.) постигло особенно тяжелое горе: умер от холеры старший его сын Порфирий, 13-ти лет, блестяще учившийся уже в Практической академии коммерческих наук в Москве, очень способный и подававший большие надежды мальчик. Жена Никифора Михайловича, Авдотья Феофилактовна, которая особенно любила этого своего сына, не могла перенести этой потери и 26 июля, через день после сына, скончалась и сама, всего 35 лет от роду. В ней Никифор Михайлович лишился своей главной помощницы, вдохновительницы и горячо любимой подруги. Горе его было очень велико. После похорон, взяв связку ключей покойной, он со слезами сказал друзьям: «В первый раз беру их».
В это время тяжкого испытания, когда Никифор Михайлович предполагал даже совершенно прикончить свое дело, его спасла от отчаяния горячая вера в Бога и сильная, мужественная природа. Бог послал ему утешение в лице второй его жены, Марии Владимировны (урожденной Макарьевой). Она стала для него ангелом-хранителем и как бы восприняла в себя душу умершей. Она сумела оказать большое нравственное влияние на своего супруга и с энергией и успехом поддерживала его стремления к самоусовершенствованию.
Жизнь в доме снова закипела, и даже сильнее прежнего. Тут как раз словно судьба заставила Никифора Михайловича обнаружить свою предприимчивость и коммерческую смелость.
В начале 70-х годов, за несколько лет до Восточной войны, разразился в России промышленный кризис. Много фабрикантов приостановили работы; некоторые фабрики закрылись вовсе. Пряжа не имела сбыта, и цена ее упала. В это время Никифор Михайлович, кредит которому был везде свободен, расширял свои покупки пряжи и раздачу работ по деревням. Этим он до известной степени избавлял окрестных крестьян от безработицы и обеднения, а вместе с тем и увеличивал свое дело. Местные жители удивленно покачивали головами, видя, как Бардыгин продолжал все более вырабатывать товары на склад в кладовые и «залезать» при этом в долги. Недоброжелатели его даже злорадствовали. Но Никифор Михайлович оказался дальновиднее всех: вскоре после войны дела оживились, цена пряжи и товаров сильно поднялась и наготовленные им товары быстро разошлись и значительно его обогатили: он имел 300 000 капитала.
Прибыль эта воодушевила Никифора Михайловича основать механическо-ткацкое дело, о котором он уже давно мечтал, и в 1880 году он приступил к постройке самоткацкой фабрики. В выписке машин ему содействовали братья Хлудовы. Заведующий их ливерпульской конторой, Герман Осипович Деккер, вел за Никифора Михайловича все расчеты с английскими заводчиками, а директор их Егорьевской фабрики, Василий Фомич Ротвель, личный друг Никифора Михайловича, был главным руководителем в выборе машин и в устройстве всей технической стороны дела. Заведующим новой фабрикой был назначен Иосиф Алексеевич Никитин, свояк Никифора Михайловича, поступивший на службу к нему с 1875 года.
Не без затруднений наладилось это дело. Во-первых, на выписанных станках оказалось невыгодным работать те цветные товары, которые работали на руках и для которых, собственно, и был выбран тип станков; пришлось заправлять новые сорта, суровые, а это потребовало переделки большинства станков, число которых было более 300. Переделка их и заправка новых суровых тканей были произведены мастером Федором Сергеевичем Тарасовым, выучеником фабрики «Т-ва Викулы Морозова», поступившим на службу к Никифору Михайловичу в 1882 году. Но перестройка эта, хотя и была необходима, сильно удорожила стоимость фабрики, и без того значительную для тогдашних средств Никифора Михайловича. Притом же вырабатываемые суровые сорта приходилось отдавать в крашение и набивку московским отдельщикам, а они были неважны: в товаре выходило много брака, который, конечно, приходилось сбывать с убытком. Ко всему этому и общие торговые обстоятельства опять ухудшились. Это было самое тяжелое время, которое когда-либо Никифору Михайловичу пришлось пережить в его деле. Выручили его крепкое здоровье, сильный характер, упорный труд и особенно добрые отношения главных кредиторов — братьев Хлудовых и Ю. С. Нечаева-Мальцева. Высоко ценя деятельность Никифора Михайловича, они без колебаний увеличивали ему свои кредиты до всей той полноты, которая только требовалась обстоятельствами. Для сбыта же товаров, которые не успевали проходить на прежних рынках, начаты были чрез Ирбитскую ярмарку дела с Сибирью; заведование этою отраслью было поручено Николаю Андреевичу Ерофееву, служившему у Никифора Михайловича с 1872 года. Благодаря всему этому, Никифор Михайлович благополучно справился со всеми невзгодами и уже в 1882 году построил свою товарную красильню, чтобы выпускать готовый товар вполне доброкачественный.
Здесь-то всецело проявилась особенная его система совершенствовать производство. Он все свое внимание обратил на достижение возможно лучших результатов от крашения. Необходимо было добиться, чтобы окраска одежных тканей в черный цвет не линяла от дождя и не выгорала от солнца. И вот Никифор Михайлович, совершенно не зная не только химии, но даже и простых ходячих рецептов, начинает доходить сам до всех деталей работ, в постоянных разговорах со своим красильным мастером Николаем Васильевичем Смирновым подробно выясняет все причины, почему что должно делаться, и постепенно наводит того на различные новые комбинации, все более и более усовершенствовавшие дело. Результат оказался блестящий. Совместными, после длинного ряда опытов, усилиями был наконец выработан такой способ окраски, благодаря которому товар выходил безусловно прочным.
Выработка и применение этого способа было крупным событием в деле Никифора Михайловича, которое затем и развилось главным образом благодаря этому обстоятельству. Замечательное качество товара сразу создало ему большую известность, а с тем вместе и большой, постоянно увеличивавшийся сбыт.
В 1883 году в дело вступил сын Никифора Михайловича, Михаил Никифорович, который под энергичным руководством отца начал входить во все стороны фабричного производства и торговли. В 1885 году они уже имели свое печатное отделение, а в 1889 году построили специальную красильню для пунцового товара и пунцовой пряжи в Городце, на которую заведующим был назначен Николай Герасимович Петрашев.
С возрастанием спроса на бардыгинские товары росли и размеры красильного и печатного их производства; перерабатывалось уже не только суровье своей ткацкой фабрики, но и покупное с посторонних фабрик. Это повело к постройке в 1894 году новой большой красильной, печатной и отделочной фабрик, на отдельном месте, куда и были вынесены со старой все красильные, печатные и отделочные отделения. Заведующим этой фабрикой был приглашен в 1896 году Владимир Александрович Назаров. Наконец самоткацкая фабрика была в 1897 году расширена до 1 000 станков.