Старший сын Григория Григорьевича — также Григорий Григорьевич (1850 — 1918), юрист по образованию, состоял депутатом I Государственной думы от партии октябристов; младший — Андрей Григорьевич (1855 — 1921) окончил физико-математический факультет Петербургского университета и Михайловскую артиллерийскую академию. Работал на Петербургском оружейном заводе, несколько лет был первым директором Петербургского политехнического института. Видному инженеру-конструктору профессору Гагарину принадлежит авторство ряда станков, приборов и приспособлений (в том числе изобрёл пресс Гагарина, предназначенный для механических испытаний металла). Один из его сыновей, Пётр Андреевич погиб в 1938 году во время сталинских репрессий. Внук Андрея Григорьевича — князь Андрей Петрович Гагарин (1934 г. р.), кандидат физико-математических наук, в настоящее время возглавляет Петербургское дворянское собрание.
Племянник художника — князь Григорий Евгеньевич Гагарин (1840 — 1903) по матери приходился внуком тайному советнику Александру Скарлатовичу Стурдзе (ум. в 1854), представителю древнего молдавского рода. В марте 1848 года Григорию Евгеньевичу было дозволено принять фамилию князя Гагарина-Стурдза, унаследовав имение деда в Бессарабской губернии. Но князь сыновей не имел, и потому род Гагариных-Стурдза, не успев начаться, угас.
Из младшей линии третьей ветви рода Гагариных происходил князь Гавриил Петрович Гагарин (1745 — 1808), действительный тайный советник, сенатор, при Павле I член Государственного Совета, главный директор Государственного заёмного банка, затем президент Коммерц-коллегии, а при Александре I — член Непременного совета. Владелец винокуренных заводов, князь поставлял казне вино, но из-за его не слишком высокого качества («с дурным запахом и подозрительною пеною») одно время при Екатерине II Гагарину запретили являться «ко двору и в публику». В 1770-х годах Гавриил Петрович занял ведущее положение среди петербургских масонов, получив высшие степени шведской системы. В 1780 году назначен председателем Великой национальной ложи и префектом капитула ложи «Феникс», почётный член ложи «Гармония», основанной Н. И. Новиковым, в 1783 году возглавил ложу «Сфинкс». Последние годы жизни князь провёл в Москве и своём имении Богословском (Могильцах) Дмитровского уезда.
В истории масонства оставил след и сын Гавриила Петровича — князь Павел Гаврилович (1777 — 1850). В молодости он служил адъютантом у Суворова, отзывавшегося о нём с похвалой, прошёл военными дорогами Итальянского похода, в 1799 году был произведён в генерал-адъютанты. В феврале 1800 года Павел Гаврилович женился на фаворитке Павла I Анне Петровне Лопухиной (1777 — 1805), чем упрочил своё положение. При Александре I князь выполнял ряд дипломатических поручений, в начале 1810-х годов являлся директором Инспекторского департамента Военного министерства, а в декабре 1814 года вышел в отставку в чине генерал-майора. В Петербурге Гагарин состоял почётным членом многих масонских лож, активно участвуя в деятельности таких из них, как «Астрея» и «Орёл Российский». В молодости опубликовал несколько поэтических сочинений, а в 1811 году издал сборник «Эротические стихотворения». Современники удивлялись странному образу жизни князя в петербургский период: его дом населяло множество птиц и собак. В то же время он собрал обширную и богатую библиотеку. В 1831 году Павел Гаврилович женился на балерине М. И. Спиридоновой.
Среди Гагариных подобный брак был не единственным. Князь Иван Алексеевич Гагарин (1771 — 1832), обер-шталмейстер, сенатор, масон и коллекционер произведений искусства, долгое время состоял в любовной связи с великой трагической актрисой Екатериной Семёновой (1786 — 1849). Они узаконили свои отношения только в 1827 году. Дети князя Гагарина и Семёновой носили фамилию Стародубских (в память о происхождении этого княжеского рода). Законные потомки Ивана Алексеевича (шесть сыновей) родились от его первого брака с Елизаветой Ивановной Балабиной.
Из них нужно упомянуть о генерал-лейтенанте князе Александре Ивановиче (1801 — 1857). Долгое время он служил на Кавказе: воевал с горцами, сражался против турок в Крымскую войну (проявил себя при штурме Карса), был градоначальником Дербента и военным губернатором Кутаиса. Немало содействовал развитию в Грузии садоводства и виноградарства. В 1857 году князя назначили кутаисским генерал-губернатором. На этом посту он начал вводить российские административные порядки на грузинских территориях, вошедших в состав Российской Империи на правах автономии. Сложности возникли в княжестве Сванетия, где правила семья князей Дадешкелиани, две линии которой вели между собой кровавую борьбу. Стремясь водворить порядок, князь Гагарин вызвал владетеля Сванетии князя Константина Дадешкелиани в Кутаис и объявил ему об аресте. В ответ Константин убил одного из солдат и смертельно ранил самого Гагарина, который пять дней спустя скончался. За это преступление Дадешкелиани был после военного суда (он числился на русской службе в лейб-гвардии Казачьем полку) расстрелян, а княжество Сванетия окончательно упразднено.
Печально завершилась жизнь и другого князя Гагарина, представителя четвёртой ветви этого рода. Правда, в отличие от Александра Ивановича, честно служившего России, Матвей Петрович сам своими действиями подписал себе смертный приговор. Начальник Сибирского приказа, при образовании губерний в 1708 году он стал сибирским губернатором. На этом посту князь составил себе крупное состояние, укрывая доходы от торговли с Китаем. Подобными махинациями он занимался, ещё когда в конце XVII века был воеводой в Нерчинске. Но тогда дело замяли, теперь же, в 1717 году, началось следствие. Матвея Петровича обвиняли в казнокрадстве и превышении власти. В начале 1719 года его арестовали и привезли в Петербург. Имения Гагарина были конфискованы, а сам он подвергся пыткам и по приговору Сената в марте 1721 года был повешен перед окнами Юстиц-коллегии. Нити следствия вели к А. Д. Меншикову, известному своими непомерными аппетитами, но светлейшего, «покрываемого» князем, как всегда, не тронули. Казнь Гагарина свершилась в присутствии царя и родственников осуждённого. Тело оставалось на виселице в течение нескольких месяцев. Но, конечно, такой позорный случай в роду князей Гагариных — исключение, большинство из них с достоинством несли свой высокий титул.
Дочь сибирского губернатора Матвея Петровича была женой графа Ивана Гавриловича Головкина (ум. в 1734), старшего сына петровского сподвижника, канцлера графа Гавриила Ивановича Головкина. А сын Алексей, которого после казни отца записали в матросы, в своё время женился на баронессе Анне Петровне Шафировой, старшей дочери другого «птенца гнезда Петрова» вице-канцлера барона Петра Павловича Шафирова (1669 — 1739).
Такие родственные связи среди петровского окружения — не редкость. Через дочь Анну Алексеевну (1722 — 1804), в замужестве графиню Матюшкину, князь Алексей Матвеевич Гагарин — прадед братьев графов Михаила (1787 — 1856) и Матвея (1794 — 1866) Юрьевичей Виельгорских. Оба они оставили заметный след в истории русской музыкальной культуры. Михаил Юрьевич был композитором, автором одной из первых русских симфоний, но наибольшей популярностью пользовались сочинённые им романсы. Матвей Юрьевич — талантливый виолончелист, один из создателей Русского музыкального общества. Ему посвящена вторая соната для виолончели и фортепиано Феликса Мендельсона-Бартольди. В доме Виельгорских был один из самых знаменитых салонов Петербурга, здесь устраивались концерты, выступали прославленные музыканты и композиторы — Гектор Берлиоз, Ференц Лист, Роберт Шуман... Большую поддержку граф Михаил Юрьевич оказывал молодому М. И. Глинке.
Граф Михаил Юрьевич Виельгорский был женат сначала на принцессе Екатерине Карловне Бирон (Курляндской) (ум. в 1813), а затем на её сестре принцессе Луизе (1791 — 1853) — обе они внучки курляндского герцога Эрнста-Иоганна Бирона (1690 — 1772), всесильного временщика при императрице Анне Иоанновне.