С тех пор все меньше и меньше сил и времени отдавал Николай Петрович службе, посвятив себя театру и Параше.
Есть предание, что граф и девушка Параша встретились в 1789 году, когда Николай Петрович выезжал из лесу, возвращаясь с охоты. Но это не могло быть правдой: Параша уже в семь лет была приписана к театру и воспитывалась сестрой Петра Борисовича, княжной Долгорукой.
Впервые Параша вышла на сцену 29 июня 1779 года, когда ей было десять лет, в опере Гретри «Испытание дружбы», а выступление в опере Саккини «Колония, или Новое селение» сделало ее первой актрисой шереметевского театра, ее забрали у княжны и поселили в актерском флигеле. Параша играла в операх «Взятие Измаила» на либретто П. Потемкина, «Самнитские браки» и «Люсиль» Гретри, «Нина, или Сумасшедшая от любви» и «Инфанта Заморы» Паизиелло, «Колдун» Руссо и во многих других. Успех был неизменным.
Молодые люди полюбили друг друга, но пропасть между их социальным положением — граф, сенатор, обер-гофмаршал двора и тайный советник и крепостная! — была столь велика, что Николай Петрович не мог решиться на женитьбу на любимой: скандал в обществе был бы невероятным.
Долгие годы Параша терпела издевательства недоброжелателей, даже будучи известной актрисой и имея поклонниками царей, она не могла рассчитывать, что когда-либо ее примут в дворянском кругу как равную себе. Чтобы избавить ее от нападок, Николай Петрович взял Прасковью Ивановну с собой в Петербург, куда был призван по делам службы. Хотя здоровье Параши и не позволяло ей путешествовать (она была больна туберкулезом), она поехала с ним. По приезде в столицу у нее пошла горлом кровь. Вскоре заболел и Николай Петрович. Болезнь заставила его задуматься о тщете земного бытия и о том, что может ожидать Парашу, если он умрет. А ничего хорошего ее не ждало: она досталась бы сестре Николая Петровича, Варваре, которая была зла на весь мир после того, как муж, оставив ее, ушел к простолюдинке.
Отпуская на волю Парашу, Николай Петрович записал ее как Ковалеву. Ковалева — это та же Кузнецова, но, по его мнению, новая фамилия звучит благороднее.
Измучившись мыслью о неравенстве, Николай Павлович придумал выход из положения: по его приказу ловкий стряпчий начал поиски подходящей родословной для Параши Ковалевой. Стряпчий быстро нашел документы некоего Якуба Ковалевского, польского дворянина, попавшего в плен еще при Петре Васильевиче Шереметеве и давший якобы начало роду Прасковьи Ивановны. В Белоруссии был найден обедневший дворянин Ковалевский, который и стал официально отцом Параши.
Теперь требовалось только разрешение на брак от государя, но его Николай Петрович ждать не стал и 8 ноября 1801 года тайно обвенчался с Прасковьей Ивановной в Москве.
Странная судьба была у этой девушки: при рождении она была записана Кузнецовой, у княжны она звалась Горбуновой — по прозвищу ее отца, больного костным туберкулезом, потом по прихоти молодого барина, увлекавшегося минералогией и давшего всем актерам фамилии по названию драгоценных камней, стала Жемчуговой. Получив вольную, она стала Ковалевой, получив дворянство, писалась Ковалевской, а после замужества Шереметевой.
Но последнюю фамилию долго носить ей не пришлось: 3 февраля 1803 года она родила сына и через двадцать дней умерла.
После смерти жены Николай Петрович сообщил всем о рождении сына и одновременно о смерти жены. Задним числом одобрил брак Шереметева и царь Александр I, которого убедили в том, что Прасковья Ивановна была дворянкой. Таким образом, наследник, Дмитрий Николаевич, был признан законным.
После смерти Прасковьи Ивановны Николай Петрович замкнуто жил в петербургском доме, окруженный бывшими крепостными актерами. В это время он совсем забросил театр и занимался постройкой Странноприимного дома, на который Прасковья Ивановна отписала все деньги, которыми владела.
Умер Николай Петрович в 1809 году, оставив сыну замечательный дворец в Останкино, наполненный всевозможными предметами искусства.
Сын его, Дмитрий Николаевич, был блестящим офицером, гулякой и водил знакомство со многими известными людьми, в том числе и с А. С. Пушкиным.
Во время выступления на Сенатской площади он был среди тех, кто по приказу царя стрелял в восставших. Это событие потрясло его настолько, что он замкнулся в себе, стал искать уединения и нашел выход в набожности. Он проводил дни в постах и молитвах, и рассказы о великолепных праздниках и приемах в Кускове и Останкине, на которых присутствовали русские и заграничные цари и императоры, очень скоро стали звучать как легенды.
Сергей Дмитриевич родился 14 ноября 1844 года. Наследник огромного состояния, он получил отличное образование и был благороднейшим человеком своего времени.
Свою жизнь он посвятил общественной и научной деятельности. Он носил звание обер-егермейстера императорского двора, был сенатором.
Сергей Дмитриевич был инициатором и создателем Общества любителей древней письменности. Общества ревнителей русского исторического просвещения в память императора Александра III, Комитета попечительства о русской иконописи. Общества возрождения древнерусской одежды. Участвовал он и в работе научных обществ: Археографической комиссии. Русского исторического общества, Общества истории и древностей российских при Московском университете. Общества древнерусского искусства при Румянцевском музее. Исторического общества Нестора летописца. Был он почетным членом Академии наук, Петербургского археологического института.
Он написал и издал более 150 статей по истории, генеалогии, географии России, подготовил и издал на собственные деньги десятки томов русских летописей, грамот, исторических актов, в том числе рукописи из семейного архива.
В 1885—90 годах Сергей Дмитриевич был московским губернским предводителем дворянства, ас 1871 года и до конца своих дней — попечителем Странноприимного дома Шереметевых.
Во всех делах Сергея Дмитриевича поддерживала жена, внучка поэта П.А. Вяземского, Екатерина Павловна Несмотря на то, что у нее было семеро детей, Екатерина Павловна находила время на благотворительность, заведование отделом «учебников и отдельных листов» в Обществе древней письменности, подготовку рукописей к изданию и собирание гербариев.
В 1899 году в имении Остафьево, купленном Сергеем Дмитриевичем у брата жены, он открыл общедоступный музей. Основой экспозиции стала коллекция памятников старины и искусства, собранная Павлом Петровичем Вяземским.
Екатерина Павловна тоже создала музей — усадьбу Михайловское, где экспонировались естественно-научные коллекции и был разбит ботанический сад. С 1897 года музей издавал «Естественно-историческую коллекцию гр. Е.П. Шереметевой в с. Михайловском Московской губернии», где Екатерина Павловна в числе прочих печатала и свои исследования.
Получив в наследство богатейшие библиотеки, собранные его предками, Сергей Дмитриевич в 1860-х годах начал собирать собственную и к концу его жизни она насчитывавала до 70 000 томов.
Жил Сергей Дмитриевич в своем имении Михайловское, бывая иногда в Кускове и Остафьеве.
После отмены крепостного права содержание парков и ансамбля Останкина стало обременительным, и Сергей Дмитриевич большую часть территории этих имений продал под дачи. Он и себе построил дачу по соседству с опустевшим дворцом.
После октябрьской революции, когда все имущество Шереметевых было национализировано, Сергей Дмитриевич наотрез отказался эмигрировать и остался в Москве. Вместе с сыном он выступил с инициативой создать в Москве собрание частных архивов и предложил для этого свой дом на Воздвиженке. Останкинский дворец стал первым в стране историко-бытовым музеем, а в 1919-м и имение Кусково стало краеведческим музеем.
Усадьба Михайловское была национализирована, музей и ботанический сад прекратили свое существование, судьба коллекций неизвестна.
Сергей Дмитриевич умер в конце 1918 года, но его дело продолжил сын, Павел Сергеевич, возглавивший музей в Остафьеве. С Павлом Сергеевичем жила и Екатерина Павловна, которая умерла в 1929 году.