Можно пойти еще дальше и попытаться описать, как я пойму весь рассказ моего друга, рассказ полный сложных человеческих отношений и опыта. Однако наша терминология вскоре станет недостаточной. Мы столкнемся со сложной рекурсией, связанной с его представлениями о том, как я представляю себе его представления о той или иной вещи или событии. Если бы в рассказе фигурировали общие знакомые, я подсознательно попытался бы найти компромисс между моим представлением о том, как их видит мой друг, и собственным представлением о них. Простая рекурсия была бы совершенно неадекватна в обращении с подобной сложной амальгамой символов. А ведь мы только начали углубляться в эту проблему! На сегодняшний день у нас просто не хватает слов, чтобы описать сложнейшие взаимодействия, возможные между символами. Так что придется нам остановиться, пока мы окончательно не увязли.
Надо заметить, однако, что компьютерные системы уже начинают сталкиваться с подобными трудностями, и поэтому некоторые из этих проблем получили свое название. Например, мой символ «гора» аналогичен тому, что на компьютерном жаргоне называется общим (или повторным) кодом — кодом, который может быть использован двумя или более программами, работающими одновременно на одном и том же компьютере. Тот факт, что активация одного и того же символа может иметь разные результаты в различных подсистемах, можно объяснить тем, что его код был обработан разными интерпретаторами. Таким образом, схема активации символа «гора» не абсолютна, но зависит от системы, в которой символ активируется.
Некоторые читатели могут усомниться в реальности подобных подсистем. Возможно, что следующая цитата из М. К. Эшера, где он описывает создание своих периодических, заполняющих пространство рисунков, пояснит, что за явление я имею в виду.
Рисуя, я иногда чувствую себя чем-то вроде спиритического медиума, контролируемого созданиями, которые он же вызывает к жизни. Рисуемые мною создания словно бы сами выбирают форму, в которой они появляются на свет. Они не обращают внимания на мои критические замечания, и я почти не могу влиять на их развитие. Обычно они бывают очень упрямыми и трудными созданиями.[38]
Это превосходный пример почти полной автономности некоторых подсистем мозга, как только они активированы. Эшеру казалось, что его подсистемы были почти способны на то, чтобы игнорировать его собственные эстетические критерии. Разумеется, его заявление надо принимать с долей скептицизма, поскольку эти могучие подсистемы возникли в результате многолетней тренировки и подчинения именно тем силам, которые сформировали его эстетические критерии. Короче, неверно было бы отделять подсистемы в мозгу Эшера от него самого или от его эстетических взглядов. Эти подсистемы составляют жизненно важную часть его эстетического чувства; местоимение «он» здесь относится ко всему существу артиста.
Важный побочный эффект подсистемы «Я» заключается в том, что она в определенном смысле может играть роль «души»: непрерывно сообщаясь с остальными подсистемами и символами мозга, она следит за тем, какие из них активированы и каким образом. Это означает, что в подсистеме «Я» должны существовать символы, обозначающие умственную деятельность — иными словами, символы для символов и символы для деятельности символов.
Разумеется, это не поднимает сознание или самосознание на какой-то «магический», сверхъестественный уровень. Сознание — это прямое следствие сложной аппаратуры и программного обеспечения мозга, которые мы только что описали. И все же, несмотря на свое прозаическое происхождение, способ описывать сознание как наблюдение над мозгом его же собственной подсистемы, по-видимому, довольно верно улавливает то трудноописуемое чувство, которое мы зовем «самосознанием». Ясно, что при системе такого уровня сложности могут легко возникнуть неожиданные побочные эффекты. Например, вполне возможно, что сложный компьютер может, подобно человеку, начать производить высказывания о себе самом. Он может заявить, что он обладает свободой воли, что его невозможно объяснить как «сумму частей» и так далее. (По этому поводу см. статью Мински «Материя, разум и модели» в его книге «Обработка семантической информации» (M.Minsky, «Matter, Mind and Models». Semantic Information Processing.).
Есть ли гарантия того, что нечто вроде только что описанной мною подсистемы «Я» действительно существует у нас в мозгу? Может ли такой сложный комплекс символов, как тот, что находится у нас в голове, развиться, не породив при этом символа самого себя? Каким образом подобные символы и их деятельность могли бы быть «изоморфны» с окружающим миром, если бы они не включали символа самого организма-носителя? Все стимулы, входящие в эту систему, сконцентрированы на крохотном участке пространства; было бы очень странным, если бы в структуре символов мозга отсутствовал бы символ самого физического объекта, содержащего этот мозг и играющего главную роль в событиях, которые он отражает. На самом деле, кажется, что единственный способ понять локализованный одушевленный предмет состоит в том, чтобы понять его роль по отношению к остальным окружающим его предметам. Для этого необходим символ «Я»; переход же от символа к подсистеме — изменение не качественное, а количественное, просто показывающее важность этого символа.
Философ из Оксфорда Дж. Р. Лукас (не имеющий никакого отношения к описанным выше числам Лукаса) написал в 1961 году достойную внимания статью под названием «Разум, машины и Гёдель» (J.R. Lucas, «Minds, Machines, and Godel»). Высказанные там взгляды диаметрально противоположны моим, хотя для обоснования своей точки зрения Лукас часто использует те же самые факты. Следующая цитата имеет прямое отношение к предмету нашего анализа:
При первой простейшей попытке рассуждать философски, человек запутывается в таких вопросах, когда он что-то знает, то знает ли он, что он что-то знает? О чем именно он думает, когда думает о себе самом? Что именно порождает эти мысли? Промучившись с этими вопросами достаточно долго, человек понимает, что их лучше оставить в покое он интуитивно доходит до того, что сознательное существо отличается от существа бессознательного. Когда мы говорим, что сознательное существо что-то знает, мы подразумеваем, что оно знает о том, что оно это знает, и что оно знает о том, что оно знает о том, что оно это знает, и так далее, и тому подобное. Хотя здесь и присутствует бесконечность, но это не бесконечный регресс в плохом смысле, поскольку в этом случае постепенно становятся бессмысленными сами вопросы, а не ответы на них. Мы чувствуем, что вопросы бессмысленны, потому что само понятие «сознания» заключает в себе идею того, что на эти вопросы можно отвечать бесконечно. Хотя разумные существа могут продолжать таким образом до бесконечности, мы не желаем представить это в виде простой последовательности задач, которые мы способны выполнять: наш разум для нас — это не бесконечный ряд «Я», «супер-Я», и «супер-супер-Я». Вместо этого мы считаем, что разумное существо — это единство и, говоря о разных частях мозга, употребляем это выражение только в качестве метафоры и не позволяем себе понимать его буквально.
Парадоксы интеллекта возникают потому, что разумное существо может воспринимать самого себя, так же как другие вещи, но при этом оно не является делимым на части. Это означает, что разумное создание может обращаться с Гёделевыми вопросами так, как не может делать этого машина, поскольку разумное существо может осознавать себя и свои действия, будучи при этом неотделимым от этих действий. Можно создать такую машину, которая, в каком-то смысле, сможет «осознать» свои действия, но она не сможет учитывать этого осознания, не становясь при этом другой машиной, — а именно, прежней машиной, к которой добавлена «новая часть». С другой стороны, одним из основных свойств нашего разума является его способность размышлять о себе самом и критически воспринимать собственные действия — и для этого не требуется никакая дополнительная часть; наш мозг совершенен, и в нем нет никакой Ахиллесовой пяты.
Таким образом, эта тема становится скорее объектом концептуального анализа, чем математического открытия. Подтверждением этому служит аргумент, выдвинутый Тюрингом. До сих пор нам удавалось построить только очень простые и предсказуемые аппараты. Когда мы увеличим сложность наших машин, нас, возможно, будут ожидать сюрпризы. Он приводит в пример атомный реактор, пока не достигнута «критическая» масса, ничего не происходит; но как только перейден порог критической массы, начинается реакция. Возможно, что то же самое верно и в отношении разума и машин. Большинство мозгов и никакие машины в данный момент не достигли этого порога — они реагируют на внешние стимулы тяжеловесным и неинтересным образом, не рождают новых идей и производят только готовые ответы; однако некоторые мозги уже сейчас «достигли критической массы» и функционируют независимо — то же может быть верно и в отношении будущих машин. Тюринг утверждает, что это только вопрос сложности, и что когда перейден некий критический порог сложности, происходит качественный скачок; таким образом, сложные машины будущего могут оказаться совершенно непохожими на простые аппараты настоящего.
Возможно, что это верно. Сложность часто порождает качественную разницу. Хотя это кажется маловероятным, может случиться, что достигнув определенного уровня сложности, машина перестанет быть даже в принципе предсказуемой и начнет действовать самостоятельно — используя весьма показательное выражение, у нее может появиться собственный интеллект. У нее может появиться собственный интеллект. Этот собственный интеллект появится тогда, когда машина перестанет быть полностью предсказуемой и послушной и начнет делать вещи, которые мы воспринимаем как разумные, а не как ошибки или случайности, и которые не были никем запрограммированы. Тогда она перестанет быть машиной в обычном смысле этого слова. Главным вопросом спора о машинном интеллекте является не то, как возникает разум, а то. как он оперирует. Основным тезисом механистов является то, что модель интеллекта должна действовать согласно «механическим принципам»; это означает, что действие целого может быть понято, исходя из действия его частей, и что действие каждой отдельной части должно либо определяться ее начальным состоянием и конструкцией машины, либо быть случайным выбором между определенным числом определенных операций. Если машина становится такой сложной, что это определение перестает действовать, тогда мы уже не можем считать ее машиной, как бы она ни была построена. Тогда пришлось бы сказать, что мы создали разум, в том же смысле, как сейчас мы говорим о рождении нового человека. В таком случае, было бы два способа давать миру новый разум, традиционный способ — рождение детей от женщин и новый способ — конструкция сложнейших систем клапанов и переключателей. Говоря о втором способе мы должны подчеркнуть что хотя наши создания выглядели бы как машины, они, тем не менее, таковыми бы не являлись, поскольку они были бы большим, чем сумма их частей. Было бы невозможным предсказать их поведение на основе знания их конструкции и начального состояния их частей, мы не знали бы границ того на что они способны поскольку они отвечали бы верно даже на заданные им вопросы Геделева типа. На самом деле, нужно отметить что любая система, которую не сбить с толку Геделевым вопросом это ео ipso не машина Тюринга, то есть не машина в обычном смысле слова.[39]