Все прошения, ходатайства, меморандумы о правах евреев, которые представлялись правительству, всегда проходили строгую цензуру Горация. Врожденный такт подсказывал барону наиболее подходящие выражения. Он нещадно вычеркивал такие слова, как «весьма», «крайне», «бесспорно». В результате документ под его пером обретал спокойный, деловой, ровный характер и выигрывал в своей эффективности. Сей особый «баронский» стиль был почтительным, но требовательным.

Гораций Осипович пристально наблюдал за жизнью своих соплеменников на местах и всегда вставал на их защиту, отстаивая их интересы в Правительствующем Сенате. Он заручился в этом поддержкой человека, коего современники называли не иначе, как «судьей праведным», а именно начальника первого департамента Сената В.А. Арцимовича. Благодарная память об этом сановнике-юдофиле увековечена в выполненном М.М. Антокольским бюсте Арцимовича, которым Гинцбург украсил свой рабочий кабинет.

В 1882 г. Гораций принял деятельное участие в работе Высшей комиссии по пересмотру законодательства о евреях под председательством бывшего министра юстиции графа К.И. Палена, созванной самим царем. Слыл Пален мужем справедливым и неподкупным. Его Комиссия предприняла серьезное обследование жизни российских евреев. Были подготовлены и изданы труды об экономическом положении евреев в черте оседлости, об истории законодательства о евреях, о статистике еврейского населения и т. д. И тут в дело вступает барон. Он с фактами в руках опровергает расхожее мнение, что евреи якобы уклоняются от воинской повинности. Гинцбург предоставляет материал, из коего следует, что официальные цифры недобора евреев объясняются их неправильной регистрацией при призывах, а также установленными для них особыми правилами набора. На самом деле в процентном отношении число призывников-евреев даже превышает количество представителей других национальностей. И вот победа: большинство членов Высшей комиссии имело мужество признать, что существующие ограничения не решают еврейского вопроса, что дальнейшее следование по этому пути и несправедливо, и не вызывается надобностью, принося лишь вред (в том числе и экономический) не только самим евреям, но и всему населению. Комиссия предложила постепенно расширять права евреев. Словом, Пален и его сотрудники не оправдали «доверия» Александра III, открыто проводившего шовинистическую, антисемитскую политику.

К несчастью, неожиданно для всех в 1887 г. Комиссия была закрыта. Тогда решение о судьбе еврейского народа было передано в руки Совещания, образованного Министерством внутренних дел под председательством завзятого реакционера В.К. Плеве, бывшим в то время товарищем министра. Зоологический антисемит и карьерист, стремившийся выслужиться перед юдофобом-царем, Плеве вознамерился не только закрепить драконовские Майские правила, но и ужесточить их, доведя до крайних примеров жестокости и человеконенавистничества. Этот новоявленный Аман XIX столетия возжелал удалить из сельской местности даже тех евреев, которые проживали там законно, причем любая отлучка должна была влечь за собой запрет возврата в родные пенаты; и евреям-ремесленникам, получившим ранее разрешение жить вне черты оседлости надлежало немедленно убираться восвояси; запрещалось также приобретать и арендовать недвижимую собственность вне городов; всякое же нарушение сих «правил» должно было караться тюремным заключением.

Эти, с позволения сказать, «законодательные предложения» должны были быть внесены в Государственный Совет на утверждение. В таких условиях, казалось, всякая борьба за права евреев должна была быть парализована. Но Гинцбург продолжал работать с удвоенной силой. Он вступает в борьбу, спокойно и терпеливо раскрывая перед правительством всю вредоносность «инициативы» Плеве. Он убеждает министра финансов И.А. Вышнеградского, сколь чудовищна и дика сия средневековая нетерпимость к евреям. В докладе последнего царю ему удалось доказать приносимую евреями пользу для экономической жизни страны; министр обратил также внимание самодержца на то, что проекты Плеве весьма неблагоприятным образом скажутся на финансах империи. И усилия барона увенчались успехом: предложения Плеве не были представлены в Государственный совет и канули в Лету. Так Гинцбург сумел отвратить страшную беду, нависшую над русским еврейством! Если бы за бароном не числилось никакой другой заслуги, кроме этой, то и ее одной было бы достаточно, чтобы его имя осталось навсегда памятным для евреев.

Он жил исключительно интересами еврейства. И евреи всей России обращались к Горацию Осиповичу за помощью, относились к нему с неизменным уважением и благодарностью. «Укажите хоть одно местечко, – говорил о нем раввин В.И. Темкин, – которое в минуту скорби не просило бы барона об участии, о защите. Найдете ли вы хоть одного еврея, который в минуту отчаяния, в минуту горького страдания не взывал к барону?»

Неоценима роль Гинцбурга как созидателя и главы Петербургской еврейской общины. Он организовал строительство столичной синагоги на Офицерской улице, торжественное открытие которой состоялось в 1892 г. Она действует и поныне. Этот архитектурный памятник в еврейском мавританском стиле – одна из ярких достопримечательностей города на Неве. Барон стал председателем Правления синагоги, при коем был устроен отдел общественного призрения, оказывавший помощь бедным. А ранее его жена, Анна Гесселевна, учредила на Васильевском острове еврейский сиротский дом.

Трудно перечислить все дела, по которым барон выступал ходатаем, все еврейские мероприятия, которые он финансировал. Гинцбург щедро помогал жертвам пожаров, неурожаев, погромов, других бедствий. При этом он неизменно оставался русским патриотом, что признавали даже его враги, с коими он боролся. Он любил Россию такой, какая она есть, но с теми надеждами, которая она ему внушала. Патриотизм соединялся в нем с глубокой лояльностью по отношению к царю и правительству. Он знал недостатки режима, но никогда не боролся против существующего строя, следуя заветам Талмуда, что законы государства требуют неукоснительного подчинения. Болью отзывался в его сердце уход многих евреев в революционное движение.

Заслуги Гинцбурга признало и русское правительство, возведя его в 1889 г. в ранг действительного статского советника, что соответствовало генеральскому чину, и наградив его высшими орденами. Но главное то, что барон был оценен властями как лидер всего российского еврейства.

Гораций Осипович верил в счастливое будущее евреев именно в России, не одобряя ни идеи сионизма, ни эмиграцию в Палестину, Аргентину и США, принявшую тогда массовый характер. Но, уважая выбор многих своих единоверцев и понимая, что без его участия в сем деле (в том числе и материального) переселение евреев из России невозможно, он возглавил в 1893 г. центральный комитет Еврейского колонизационного общества. Вскоре под его патронажем работало 507 эмиграционных комитетов! Впоследствии именем Гинцбурга будет названа земледельческая колония в Аргентине.

Барон ушел в мир иной в 1909 г. на 76-м году жизни. Очень проникновенно сказал о нем на гражданской панихиде Г.Б. Слиозберг: «Красой Израиля был Гораций Осипович. Он был красою не тем, что был богат и знатен, не тем, что влиятелен и свое влияние всегда направлял на пользу других, и не тем еще он был красою, что он щедро уделял для ближних от щедрот, коими его самого одарила судьба... Не было горя человеческого, которому он не сочувствовал бы и которое не стремился бы облегчить, не разбирая, кто страдает – свой или чужой, да и не было для него чужих. Но не только этим он был красою еврейства. Даже и не тем еще, что, любя прекрасное, он поощрял искусство во всех его проявлениях, что, будучи сам просвещен, он просвещал других и сеял просвещение щедрою рукой направо и налево, даже не только рядовой сеялкою, – в уверенности, что как бы ни было брошено семя на благодарной почве еврейства, – оно даст богатые плоды. Был он красою еврейства тем, что был живым образцом еврея, проникнутого еврейским духом, еврейским идеалом, и все, что он делал и чем он был, было проявлением его еврейства. Все, что он делал, – он делал не, как говорят иные, "хотя он был еврей", а именно "потому, что он был еврей". Во всем он следовал заветам еврейского вероучения и морали, ни на минуту он не забывал, что, по словам наших законоучителей, "мир крепок тремя предметами: истиной, справедливостью и благоволением"».