В глазах Брэда как будто крутились шестерёнки. Одна говорила: «этот мужик и так скептичен; если мы покажем ему слабость, он просто окончательно спишет нас со счетов». Другая подсчитывала, сколько кликов генерирует Мозамбик. Мене мене текел упарсин. «Ага, — сказал Брэд. — Отличный сабреддит. Мы сделаем Мозамбик».
Полковник дал нам визитку и вышел. Блейк и я занялись обучением Резака Шири на мозамбикском сабреддите. Этика, я знаю. Но как я сказал — онлайн-рекламный бизнес, остановка, проехали. Единственная уступка гуманности, которую мы себе позволили — взяли десятый вариант из предложенных нейросетью. Мы не хотели всё разрушать, только продемонстрировать. Сеть сгенерировала фразу, обвиняющую премьер-министра в том, что он выразил неуважение к исламу в определённой форме — опять же не буду уточнять. У нас не было лучшего метода, и мы в личном сообщении админам мозамбикского сабреддита спросили, что они думают. Не помню, как мы это объяснили — что-то типа того, что мы американские студенты-политологи, изучающие мозамбикскую культуру. Пусть они спросят каких-нибудь друзей, что случится, если премьер-министр совершит такой поступок, и перешлют нам ответы.
Почти неделю мы работали над проектом подкопа под Мозамбик. Потом пришли новости. Дэвид и Шири подали в суд на нашу компанию за неправомерное увольнение и расовую дискриминацию. Брэд, Блейк и я — белые, Шири — индианка, а Дэвид — еврей. Этот иск только рассмешил бы суд — антисемитский стартап в Кремниевой Долине? — но вообще-то вся документация говорила о том, что не было никаких причин увольять Дэвида и Шири. На бумаге их работа выглядела хорошо. Они всегда получали хорошие оценки эффективности. Дела компании шли отлично — она даже разместила рекламу вакансий для новых программистов за пару недель до того.
Дэвид и Шири знали, за что их уволили. Но это не имело для них значения. Они были настолько ослеплены ненавистью к нашей компании, настолько одержимы режущей фразой, что солгали бы о чём угодно, лишь бы нас уничтожить. Мы попали в ловушку. Мы не могли признать существование Резака Шири, потому что хотели продать его Пенагону как секретное оружие, а кроме того, публичное признание в попытке уничтожить Мозамбик было бы плохим пиаром. Но суд требовал документов, говорящих, чем занималась наша компания перед увольнением и сразу после него. Настоящий оборонный подрядчик, вероятно, попросил бы Пентагон написать, что наши исследования засекречены. Но Пентагон всё ещё нам не верил. Полковник только отшучивался. Мы были в тупике.
Не знаю, как мы выпутались бы из юридических проблем, потому что на самом деле Брэд отправился к Дэвиду домой и попытался его избить. Вы сейчас подумаете: «что за псих», но поймите, что с Дэвидом всегда было тяжело работать, а во время спора в офисе Брэда он столько раз перешёл все границы, что действительно больше всех заслужил взбучки. Иск против компании был лишь последней соломинкой. Не могу судить Брэда после того, как он несколько месяцев разгребал за Дэвидом дерьмо, платил ему хорошие деньги, а Дэвид в конце концов предал его. Но в любом случае это погубило нашу компанию. Брэда арестовали. Больше некому было платить по счетам и сводить концы с концами. Мы с Блейком были кодерами и не разбирались в бизнесе. Мы положили заявления на стол — не буквально, потому что Брэд сидел в тюрьме — и так закончилась история Безымянной Компании Онлайн-Рекламы.
Мы легко отделались. Вот что важно подчеркнуть. Нам необъяснимо, невероятно повезло. Если бы мы с Шири начали спорить об одном из утверждений о США, мы бы разрушили страну. Если бы Резак Шири разработал гигант вроде Гугла, Резак разрушил бы Гугл. Если бы сгенерированная нами фраза не была всего лишь весьма специфическим фрагментом кода — если бы это было утверждение о технологии в целом, или о бизнесе в целом — мы бы разрушили экономику.
На самом деле мы разрушили только нашу компанию и, возможно, несколько ближайших конкурентов. Посмотрите на внутренние публикации по индустрии онлайн-рекламы за осень 2017 года, и вы увидите немало странного. История[5] о том, как главу онлайн-рекламной компании арестовали за убийство, жестокое обращение с детьми, нападение на полицейского и ещё три-четыре преступления, а потом всё это оказалось ложными обвинениями[6], связанными с труднообъяснимым психическим расстройством — это только верхушка айсберга. Не могу убедительно объяснить, как конкретно распространялась режущая фраза, и почему она не распространилась шире, но уверен — если я займусь этим слишком тщательно, над моим домом закружат чёрные вертолёты. И больше я ничего об этом не скажу.
Сам я ушёл из этой индустрии вообще. Я нашёл работу в более стабильной компании, занимающейся машинным обучением для распознавания голоса, и стараюсь не слишком думать об этом. Я всё ещё злюсь, когда думаю о той версии дизайна программы, которую предложил Резак. Однажды в кафе я заметил кого-то похожего на Шири и подошёл с намерением высказать всё, что о ней думаю. Но это была не она, и я не отправился в тюрьму вслед за Брэдом. Я часто, слишком часто смотрел новости из Мозамбика, и несколько месяцев там было спокойно, а потом началось[7]. Я до сих пор не знаю, имеем ли мы к этому отношение. Африка полна конфликтов, и если подождать, что-нибудь да случится. Полковник больше никогда со мной не связывался. Вряд ли он вообще воспринимал нас всерьёз. Вряд ли он даже смотрел новости из Мозамбика. Возможно, он видел их, но принял за совпадение. Возможно, он звонил в нашу компанию, получил ответ, что номер не обслуживается, и решил, что дело не стоит дальнейших розысков. Но время шло, конфликт в Мозамбике не разрастался, и я понадеялся, что с Резаком Шири в моей жизни покончено.
Потом началось дело Кавано. Кое-что в нём вызвало у меня дежа вю. На той неделе, когда Кавано давал показания, я это понял.
Шири сказала, что когда она запустила Резак на всём Реддите, тот выдал лишь несколько убедительно спорных сценариев американской политики. Она показала два-три примера. Один из них очень конкретно описывал данную ситуацию. Республиканский номинант в верховные судьи обвинён в сексуальном насилии в юном возрасте.
Это меня сильно напугало. Кто-то завладел Резаком и применил против США? Может, полковник из Пентагона был внимательнее, чем хотел показаться? Но с чего бы Пентагону пытаться расколоть Америку? Может, Резак украл какой-нибудь враг? Я выписываю «New York Times», так что очевидно, моя первая мысль была о Путине. Но откуда у Путина Резак Шири? Я что-то забыл? Я не мог выбросить это из головы. Я не сохранил список, который дала мне Шири, но у меня сохранилось достаточно от программной базы Резака, чтобы восстановить программу за несколько бессонных ночей. Затем я купил много вычислительной мощности на Amazon Web Services и напустил программу на архив комментов Реддита. Это стоило мне трёх суток и пятизначной суммы, но я реконструировал список, который должен был быть у Шири. Как я и помнил, Кавано там был.
Но был и Колин Кэперник.
Вы слышали о нём. Футболист, который отказался вставать во время исполнения гимна. Я знал, что Резак предсказал один спор, так почему же меня привело в такой шок, что он предсказал и другой? Потому что Кэперник начал в 2016 году. Мы создали Резак только в 2017. Путин не мог получить его от нас. Кто-то нас опередил.
Из первой сотни предсказанных Резаком спорных утверждений Кавано был на 58-м месте, Кэперник на 42-м. На 86-м месте стоял проект мечети рядом с руинами Всемирного торгового центра. На 89-м — кондитер, отказавшийся печь торт для однополой свадьбы. На 99-м месте стояло что-то наподобие казуса Элиана Гонсалеса[8] 2000 года, хотя совпадение было неточное. Пять из ста. Могло ли так получиться случайно? У нас большая страна, происходит много всего, и если бы естественным образом произошло одно из режущих событий, оно было бы раздуто до национального масштаба. Но некоторые были слишком специфичны. При случайном совпадении следовало бы ожидать больше неполных совпадений, чем полных. Я нашёл только два. Структура режущих фраз выглядела так, будто кто-то подстроил события для точного совпадения с ними.
Самым ранним точным совпадением была та мечеть в 2009 году. Мог ли Путин иметь программу наподобие Резака в 2009 году? Ни в коем случае. Это прозвучит странно, если вы не из нашей индустрии. Почему бы государству не опережать на восемь лет компанию онлайн-рекламы? Скажу только одно: машинное обучение развивается быстрее. Россия не смогла бы скрыть программу машинного обучения, на восемь лет опережающую США. Даже Пентагон не смог бы скрыть программу, на восемь лет опережающую индустрию. АНБ на тридцать лет опережает индустрию в области криптографии, и все это знают. Но кто тогда генерировал режущие фразы в 2009 году? Я без понятия. И знаете что? Мне реально пофиг.
Сами по себе режущие фразы безобидны. Они просто выглядят тривиально истинными или тривиально ложными. Они не активируются, пока вы не начнёте их с кем-нибудь обсуждать. Тогда сначала вы подумаете, что ваши оппоненты — дебилы. Потом они назовут вас дебилом, и вам захочется защититься. Crescit eundo (дальше больше — лат.). Вы заметите все эти мелкие уловки, при помощи которых они лгут вам, себе и своим слушателям каждый раз, как открывают рот для защиты своего дебильного мнения. Потом вы увидите взаимосвязь внутри этой системы лжи — увидите, как им приходится подтасовывать во всём, чтобы поддерживать иллюзию ложности режущей фразы. И однажды, когда это не сработает, им просто придётся возбудить всеобщую ненависть к вам, так чтобы никто не слушал ваших доводов, как бы они ни были очевидны. В конце концов им будет уже плевать на режущую фразу. Они просто настолько глубоко зароются, превратив ненависть к вам и желание вас разбить в самую суть своего существования, что уже не выберутся сами. Вам придётся доказать их неправоту, даже не потому, что для вас важна сама режущая фраза, а потому что иначе они сделают всё, чтобы отравить людей вокруг вас, чтобы отнять у них даже понимание того, почему вы заслуживаете жизни. Вы знаете, что так оно и есть. Ваше мышление превращается в бесконечный цикл аргументов для самозащиты, контраргументов для отражения их жестоких и нечестных нападений, и в один пылающий вопрос: как заткнуть им рот? Как убедить людей не слушать их, прежде чем они найдут этих людей, сыграют на их предрассудках и обратят против вас? Как бороться с их несостоятельными аргументами, преже чем они сагитируют хороших людей, сагатируют так, что напрочь перепаяют мозги, и их уже никогда не удастся разагитировать обратно? Как вам обезопасить себя?