Сторонники этой технологии настаивают на том, что она не является реальным аналогом "Отчета о меньшинстве" (Minority Report), фильма 2002 года, в котором интуитивные люди, называемые прекогами, используются правоохранительными органами для предсказания преступлений, чтобы "преступник" был арестован до того, как он действительно совершит их. Медиа-стратег PredPol утверждает, что программное обеспечение - это не научная фантастика, а "научный факт", подчеркивая, что алгоритмы абсолютно нейтральны и объективны. На самом деле программное обеспечение часто преподносится как способ уменьшить расовую предвзятость в правоохранительных органах. Один из создателей PredPol утверждал, что, поскольку алгоритмы ориентируются на "объективные" факторы, такие как время, место и дата потенциальных преступлений, а не на демографические характеристики отдельных преступников, программное обеспечение "потенциально уменьшает любые предубеждения офицеров в отношении расы или социально-экономического статуса подозреваемых".

Аналогичные алгоритмы используются при вынесении приговоров, определяя степень угрозы для общества и риск побега обвиняемого перед вынесением приговора. Эти машины сканируют данные из картотеки обвиняемых, включая подозреваемое преступление, количество предыдущих арестов и место ареста (некоторые модели также учитывают место работы подозреваемого, знакомых и его кредитный рейтинг), затем сравнивают эти данные с сотнями и тысячами судимостей и присваивают обвиняемому балл риска, который используется для определения того, где он должен ожидать суда - дома или в тюрьме. Подобные алгоритмы впервые попали в заголовки национальных газет в 2017 году, во время суда над Эриком Лумисом, тридцатичетырехлетним мужчиной из Висконсина, чей тюремный приговор - шесть лет за уклонение от уплаты налогов - был частично основан на КОМПАСе, прогностической модели, определяющей вероятность рецидива преступлений. Во время судебного заседания судья сообщил Лумису, что по результатам оценки КОМПАС он был отнесен к группе высокого риска для общества. Лумис, естественно, поинтересовался, какие критерии использовались при вынесении приговора, но ему сообщили, что он не может оспорить решение алгоритма. В итоге его дело дошло до Верховного суда Висконсина, который вынес решение не в его пользу. Генеральный прокурор штата утверждал, что Лумис обладал теми же знаниями о своем деле, что и суд (судьи, по его словам, были в равной степени осведомлены о логике алгоритма), и заявлял, что Лумис "был волен подвергнуть сомнению оценку и объяснить ее возможные недостатки". Но это было довольно творческое понимание свободы. Лумис был волен подвергнуть алгоритм сомнению точно так же, как Иов был волен подвергнуть сомнению справедливость Иеговы.

Другой, более свежий случай произошел с Дарнеллом Гейтсом, жителем Филадельфии, который в 2020 году проходил испытательный срок после отбывания наказания в тюрьме. Он заметил, что частота его обязательных визитов к надзирателю меняется от месяца к месяцу, но ему никогда не говорили, что это происходит потому, что алгоритм постоянно оценивает степень его риска. Возможно, он никогда бы не узнал об этом, если бы журналист New York Times, освещавший эту технологию, не сообщил ему об этом. Гейтс был явно обеспокоен этим открытием. В интервью газете Times он, похоже, осознал теневую грань между предсказанием и решимостью - и невозможность перехитрить игру, в которой все ставки против вас. "Как он собирается понять меня, ведь он диктует мне все, что я должен делать?" - сказал он об алгоритме. "Как выиграть у компьютера, который создан для того, чтобы остановить вас? Как остановить то, что предопределяет вашу судьбу?"

Хотя эти непрозрачные технологии подвергаются нападкам со стороны организаций по защите гражданских прав, их защитники часто указывают на то, что человеческие суждения не более прозрачны. Спросите судью, как она пришла к тому или иному решению, и ее ответ будет не более достоверным, чем ответ алгоритма. Человеческий мозг - это тоже "черный ящик", - говорит Ричард Берк, профессор криминологии и статистики в Пенсильванском университете. Тот же вывод был сделан в статье, подготовленной корпорацией Rand, где отмечалось: "Мыслительные процессы судей - это (как и КОМПАС) черный ящик, который выдает непоследовательные решения, склонные к ошибкам". Эти аргументы часто приводят те, кто заинтересован в технологии, хотя их подкрепляет неврологический консенсус, согласно которому у нас нет "привилегированного доступа", как выражается Дэниел Деннетт, к нашему собственному мыслительному процессу. Логическим завершением "черного ящика" человеческого сознания является то, что доверять непрозрачной логике алгоритма теперь представляется столь же разумным, как и доверять собственному разуму.

Но эта защита поразительно уклончива и по другим причинам. Мы доверяем объяснениям других людей, потому что мы эволюционировали как вид, чтобы иметь схожие методы рассуждения. Даже если речь идет об интуиции или догадках, мы можем предположить, что они относятся к сфере человеческих мыслительных процессов. Машины, напротив, делают выводы, совершенно не похожие на человеческий разум - этот факт запомнился бывшему чемпиону по игре в го, который воскликнул о стратегии AlphaGo: "Это не человеческий ход". Многие исследователи в области глубокого обучения называют алгоритмы формой "инопланетного" интеллекта. Когда модели глубокого обучения учат играть в видеоигры, они придумывают хитроумные способы обмана, которые не приходят в голову человеку: используют ошибки в коде, позволяющие им набирать очки, или доводят противников до самоубийства. Когда Facebook научил две сети общаться, не уточняя, что разговор должен вестись на английском, алгоритмы придумали свой собственный язык. В 2003 году Ник Бостром предупредил, что между интеллектом и человеческими ценностями нет врожденной связи. Сверхразумная система может привести к катастрофическим последствиям, даже если у нее нейтральная цель и отсутствует самосознание. "Мы не можем легкомысленно полагать, - писал Бостром, - что сверхразум обязательно будет разделять какие-либо конечные ценности, стереотипно ассоциирующиеся с мудростью и интеллектуальным развитием человека: научное любопытство, благожелательное отношение к другим, духовное просвещение и созерцание, отказ от материального приобретения, вкус к изысканной культуре или к простым удовольствиям жизни, смирение и самоотверженность и так далее".

Однако среди приверженцев глубокого обучения именно причудливый интеллект является целью. "У нас уже есть люди, которые могут думать как люди", - говорит Янн ЛеКун, глава исследовательского подразделения Facebook по ИИ. "Возможно, ценность умных машин в том, что они совершенно чужды нам". Дэвид Уайнбергер также утверждает, что в случае с глубоким обучением "чужое" не означает "неправильное". "Когда дело доходит до понимания того, как обстоят дела, - пишет он, - машины могут быть ближе к истине, чем мы, люди, когда-либо могли бы быть". Многие специалисты в этой области не хотят делать технологию более прозрачной, даже если бы это было возможно. Согласно одной из теорий, чем меньше мы будем вмешиваться в алгоритмы, тем точнее будут результаты. Если среди технологической элиты и существует герменевтика, то это марка sola fide и sola scriptura, убежденность в том, что алгоритмические откровения совершенны и что любая интерпретация или вмешательство человека рискуют подорвать их авторитет. "Бог - это машина", - говорит исследователь Юре Лесковец, резюмируя консенсус в своей области. "Черный ящик" - это истина. Если он работает, значит, он работает. Мы даже не должны пытаться понять, что выдает машина".

Во время расцвета увлечения глубоким обучением трудно было прочитать статью об этих технологиях, не наткнувшись на религиозную метафору. "Подобно богам, эти математические модели были непрозрачны, их работа была невидима для всех, кроме высших жрецов в своей области: математиков и компьютерных ученых", - пишет специалист по изучению данных Кэти О'Нил, вспоминая появление этих алгоритмов. "Их вердикты, даже если они были ошибочными или вредными, не подлежали оспариванию или обжалованию". В своей книге "Homo Deus" Юваль Ной Харари проводит практически ту же аналогию: "Как, согласно христианству, мы, люди, не можем понять Бога и Его замысел, так и датаизм заявляет, что человеческий мозг не в состоянии постичь новые главные алгоритмы". Термин "главный алгоритм" - это аллюзия на работу Педро Домингоса, одного из ведущих экспертов в области машинного обучения, который утверждает, что эти алгоритмы неизбежно превратятся в единую систему совершенного понимания - своего рода оракул, к которому мы сможем обращаться практически по любому поводу, что приведет к завершению видения Бридла о новой темной эпохе. В своей книге "Мастер-алгоритм" Домингос отвергает опасения по поводу этой технологии, апеллируя к нашему зачарованному прошлому. "По сути, мы всегда жили в мире, который понимали лишь отчасти", - пишет он. "Вопреки тому, во что нам хочется верить сегодня, люди довольно легко подчиняются другим, а любой достаточно развитый ИИ неотличим от Бога. Люди не обязательно будут возражать против того, чтобы получать приказы от какого-то огромного оракульного компьютера".

 

-

"ИИ начался с древнего желания выковать богов", - пишет Памела Маккордак в своей книге 1979 года "Машины, которые думают" - отголосок афоризма Вольтера о том, что если бы Бога не существовало, то человечество сочло бы необходимым его изобрести. Конечно, мы всегда изобретали и изобретали Бога, но не через науку, а через теологию, и божественность каждой эпохи раскрывает потребности и желания ее создателей-людей. Несмотря на распространение религиозных метафор вокруг этих алгоритмов, теология - если ее можно так назвать - их создателей часто определяется неверно. Доктрина, развивающаяся вокруг ИИ, на самом деле не является пережитком Темных веков. Безграничное инопланетное божество, которое имеют в виду критики технологий, - это Бог Кальвина и Лютера, вполне современная сущность. Вопрос в том, как получилось, что мы решили воскресить этого Бога из мертвых, и почему спустя столько лет он все еще кажется нам привлекательным?