ошибки — результат действия когнитивных искажений;
предпочтение краткосрочных целей долгосрочным;
следование ценностям, которые приводят к негативным результатам в долгосрочной перспективе (например, отказ от опытов на животных может замедлить внедрение ценных лекарств).
Сверхсложные системы ведут себя принципиально невычислимым образом, хаотически, что означает, что у них всегда будут непредсказуемые последствия. Кроме того, часто лица, принимающие решения, даже не запрашивают информацию, которая важна для их проекта, потому что не знают о ее существовании и значении.
Чарльз Перроу создал теорию «естественно возникающих аварий» (normal accidents), в которой показал, что при достаточно большой сложности технической системы в ней естественным образом время от времени возникают аварии, связанные со случайным непредсказуемым наложением нескольких факторов, в которых никто не виноват. Связано это с тем, что пространство возможных состояний такой системы настолько велико, что невозможно просчитать все последствия. Кроме того, сложность приводит к тому, что всегда множество факторов действует одновременно и могут «зацепиться» друг за друга непредсказуемым образом. Перроу рекомендует упрощать системы, делая их поведение более линейным и предсказуемым.
Возможные типы катастроф, являющихся непредвидимыми последствиями
Ошибка в программировании ИИ или сбой в его работе, когда он станет всемирным ИИ.
Неизвестность долгосрочных последствий накопления в биосфере множества искусственно производимых веществ.
Научные эксперименты с адронным коллайдером.
Сверхглубокое проникновение в недра Земли, способное спровоцировать гигантское вулканическое извержение.
Всемирный системный кризис, сопровождающийся исчерпанием ресурсов, экономическим кризисом, терроризмом, гонкой вооружений с применением всех видов новых технологий для создания оружия, борьбой за власть и мировой войной, в результате чего численность выживших упадет ниже определенной черты, за которой последует процесс самоподдерживающегося коллапса цивилизации. По современным оценкам, для поддержания вида необходимо, чтобы в одной среде обитания находились не менее 1000 его представителей.
Религиозные верования, в которых загробная жизнь считается предпочтительнее земной (например, террорист взрывает бомбу ради того, чтобы попасть в рай).
Глобальное потепление
Антропогенное глобальное потепление — один из результатов действия закона непредвидимых последствий: когда создавалась энергетика на минеральном топливе, никто не предполагал, что она может повлиять на глобальный климат.
Основные факты, касающиеся глобального потепления
Рано или поздно оно произойдет, вплоть до выкипания океанов. Рост светимости Солнца, связанный с ростом его радиуса, составляет 10% за миллиард лет. Поэтому в течение ближайшего миллиарда лет (плюс-минус несколько сот миллионов лет) температура на Земле станет неприемлемой для жизни. И основной вопрос не в том, будет ли глобальное потепление, а в том, не может ли оно по каким-то причинам произойти раньше этого срока.
Модели, описывающие глобальное потепление, крайне сложны, и почти никто, кто претендует на знание истины о потеплении, не знает всех деталей. С методологической точки зрения тема глобального потепления является попыткой сделать далеко идущие выводы на основе слабых сигналов. В отношении глобального потепления действует так называемый «Санкт-Петербургский парадокс» — наибольшее значение имеют наименее вероятные исходы развития событий. Другими словами, переход в катастрофический режим является маловероятным исходом, но максимальный ущерб для человечества будет именно от него.
Переход в катастрофический режим связан с возможностью «взрывного» высвобождения океанских гидратов метана и растворенной в океане углекислоты при достижении некого порога подъема температуры, значение которого пока неизвестно. Не стоит успокаивать себя мыслями, что мы живем в криоэру. Именно в этот период происходит максимальное накопление метана на дне океана, то есть чем дольше криоэра, тем в менее устойчивом состоянии находится климат.
Можно регулировать температуру земной атмосферы по требованию, распыляя в верхних ее слоях небольшие количества оксида серы, пыли и даже морской воды. Это может потребовать расходов не более чем 400 млн долларов в год.
У этого геоинженерного способа регулирования, который мы называем «План 2», есть ряд преимуществ перед «Планом 1» — снижением уровня углекислоты в воздухе:
его можно быстро отключить, просто перестав поддерживать необходимые количества взвеси в стратосфере;
он позволяет оперативно реагировать на чрезмерное охлаждение и перегрев климата на основании поступления «сильных» сигналов, и снижает влияние неопределенности нашей климатической модели;
он может быть применен силами одной страны и не требует единодушного объединения всех государств.
Однако у «Плана 2» есть и свои недостатки:
накопление углекислоты продолжится, что приведет к росту кислотности океана, гибели кораллов, образованию в океане мертвых зон и дальнейшим выбросам метана из него;
любой сбой в непрерывной работе системы поддержания температуры Земли чреват резким скачком глобальной температуры;
у «Плана 2» могут быть свои непредвидимые последствия;
само наличие «Плана 2» снижает решимость государств следовать «Плану 1» – ограничивать выбросы парниковых газов.
Однако мы полагаем, что именно «План 2» будет применен на практике, поскольку пока не видно успехов на переговорах по ограничению выбросов СО2 из-за политических разногласий и неопределенности климатических моделей.
Оценка рисков и необходимые меры
Одно из объяснений загадки молчания космоса, известное как парадокс Ферми, состоит в том, что все цивилизации, возникающие во Вселенной, с неизбежностью самоуничтожаются. С 1990-х годов за рубежом опубликовано несколько работ, в которых исследуются глобальные риски такой катастрофы, которая может привести к полному необратимому уничтожению земной цивилизации.
Мартин Рис в книге «Наш последний час. Предупреждение ученого: как террор, ошибка и природная катастрофа угрожают будущему человечества в этом веке и далее» (2003) оценил шансы вымирания человечества в XXI веке в 50%.
Джон Лесли в книге «Конец света. Наука и этика человеческого вымирания» (1996) впервые показал высокие оценки риска полного вымирания человечества и представил публике так называемый Doomsday argument Картера–Лесли, который показывает, что вероятность глобальной катастрофы в ближайшем будущем весьма велика.
Книга Ричарда Познера «Катастрофа. Риск и реакция» (2004) посвящена дотошному экономическому анализу рисков глобальной катастрофы и необходимых мер по ее предотвращению, кроме того в ней рассмотрены юридические вопросы вроде допустимости пыток террористов, угрожающих глобальной катастрофой.
Ник Бостром в статье «Угрозы существованию. Анализ сценариев вымирания» (2001) дал полный обзор глобальных рисков и предложил их определенную классификацию по силе и по моменту наступления.
Каждая из статей Э. Юдковски «Искусственный интеллект как позитивный и негативный фактор глобального риска» и «Когнитивные искажения, влияющие на оценку глобальных рисков», опубликованных в 2006 году, открыла новую область в изучении глобальных рисков.
Общий вывод, который делают все авторы, — неуправляемое развитие новых технологий может привести к глобальной катастрофе. Оценки этих рисков довольно велики.
Бостром пишет, что было бы неразумно оценивать риски вымирания человечества менее чем в 25% в ближайшие 200 лет.
Рис полагает, что шансы вымирания человечества в XXI веке равны 50%, Лесли оценивает их в 30% в ближайшие 500 лет, то есть оценки носят примерно один и тот же порядок.