Глава 3. Учимся вычислять

перцептрон и искусственные нейронные сети

Математик Кембриджского университета Бертран Рассел в начале XX века потратил 10 лет на достижение монументальной цели: определить философские корни, из которых проистекает вся математика. В сотрудничестве со своим бывшим учителем Альфредом Уайтхедом этот амбициозный проект вылился в книгу "Principia Mathematica", которая была сдана в издательство с опозданием и превышением бюджета. Авторам пришлось самим участвовать в издательских расходах, чтобы довести дело до конца, и в течение 40 лет они не получали никаких гонораров.

Но финансовое препятствие было, пожалуй, самым незначительным в завершении работы над этим опусом. Расселу пришлось бороться с собственным волнением по поводу научного материала. Согласно его автобиографии, он проводил дни, уставившись в чистый лист бумаги, а вечера размышлял о том, чтобы прыгнуть под поезд. Работа над книгой также совпала с расторжением брака Рассела и напряжением его отношений с Уайтхедом - который, по словам Рассела, в то время вел свои собственные душевные и супружеские битвы. Работа над книгой требовала даже физических усилий: Рассел проводил по 12 часов в день за письменным столом, выписывая сложную символику, необходимуюдля передачи его сложных математических идей, а когда пришло время нести рукопись в издательство, она оказалась слишком большой для него. Несмотря на все это, Рассел и Уайтхед в конце концов закончили и опубликовали текст, который, как они надеялись, укротит кажущееся диким состояние математики.

Концепция Principia заключалась в том, что вся математика может быть сведена к логике. Другими словами, Рассел и Уайтхед считали, что горстка основных утверждений, известных как "выражения", может быть объединена правильным образом для создания всех формализмов, утверждений и выводов математиков. Эти выражения не были основаны на каких-либо наблюдениях за реальным миром. Скорее, они должны были быть универсальными. Например, выражение: если X истинно, то утверждение "X истинно или Y истинно" также истинно. Такие выражения состоят из пропозиций - фундаментальных логических единиц, которые могут быть либо истинными, либо ложными и записываются в виде букв X или Y. Эти пропозиции объединяются с булевыми операторами, такими как "и", "или" и "не".

В первом томе "Principia" Рассел и Уайтхед привели менее двух десятков таких абстрактных выражений. Из этих скромных семян они построили математику. Они даже смогли триумфально заключить - после десятков заполненных символами страниц - что 1+1=2.

Демонстрация Расселом и Уайтхедом того, что все величие математики можно передать с помощью простых правил логики, имела огромное философское значение, поскольку она стала доказательством силы логики. Более того, это означало, что последующее открытие, сделанное другой парой мужчин примерно 30 лет спустя, будет иметь огромные последствия само по себе. Это открытие говорило о том, что нейроны, просто в силу особенностей своей анатомии и физиологии, выполняют правила логики. Оно произвело революцию в изучении мозга и самого интеллекта.

* * *

Когда уроженцу Детройта Уолтеру Питтсу было всего 12 лет, он получил приглашение Рассела поступить к нему в аспирантуру Кембриджского университета. Как рассказывают, мальчик наткнулся на экземпляр "Принципиума", забежав в библиотеку, чтобы избежать нападок хулиганов. Читая, Питтс обнаружил, по его мнению, ошибки в работе. Поэтому он отправил свои заметки на эту тему Расселу, который, предположительно не зная о возрасте мальчика, предложил ему должность. Питтс не согласился. Но несколько лет спустя, когда Рассел гостил в Чикагском университете, Питтс пришел на его лекции. Убежав из жестокой семьи в Чикаго, Питтс решил не возвращаться. Он остался в городе бездомным.

К счастью, в Чикагском университете был еще один всемирно известный логик, которого Питтс мог критиковать, - Рудольф Карнап. Питтс снова написал заметки - на этот раз с указанием проблем в недавней книге Карнапа "Логический синтаксис языка" - и доставил их в офис Карнапа в Чикагском университете. Питтс пробыл там недолго, чтобы услышатьреакцию , но Карнап, впечатленный, в конце концов разыскал Питтса, которого он называл "новобранцем, понимающим логику". В этом случае философ, которого он критиковал, действительно заставил Питтса работать с ним. Хотя он никогда не был официально зачислен в университет, Питтс эффективно функционировал как аспирант Карнапа и общался с группой ученых, которые интересовались математикой биологии.

Интерес Уоррена Маккалоха к философии принял более традиционную форму. Он родился в Нью-Джерси, изучал этот предмет (наряду с психологией) в Йельском университете и читал многих великих. Больше всего он был увлечен Иммануилом Кантом и Готфридом Лейбницем (чьи идеи оказали большое влияние на Рассела), а Principia он прочитал в возрасте 25 лет. Но, несмотря на бороду на длинном лице, Маккаллох не был философом - он был физиологом. Он учился в медицинской школе на Манхэттене, а затем наблюдал за множеством способов, которыми мозг может сломаться, будучи интерном по неврологии в больнице Бельвью и в психиатрической больнице штата Рокланд. В 1941 году он поступил на работу в Иллинойский университет в Чикаго в качестве директора лаборатории фундаментальных исследований на кафедре психиатрии.

Как и во всех других замечательных историях происхождения, существуют противоречивые сведения о том, как Маккаллох и Питтс познакомились. Одна из них утверждает, что это произошло, когда Маккаллох выступал перед исследовательской группой, в которую входил Питтс. По другой версии, их познакомил Карнап. И наконец, современник этих двух людей, Джером Леттвин, утверждает, что это он их познакомил и что все трое сблизились из-за взаимной любви к Лейбницу.бы то ни было, к 1942 году 43-летний Маккаллох и его жена взяли 18-летнего Питтса к себе домой,, и двое мужчин проводили вечера, попивая виски и обсуждая логику

В начале двадцатого века среди ученых существовала прочная стена между "разумом" и "телом". Разум считался внутренним и нематериальным, а тело, включая мозг, - физическим. Исследователи по обе стороны этой стены старательно, но раздельно работали над своими проблемами. Биологи, как мы видели в предыдущей главе, усердно работали над раскрытием физических механизмов нейронов: с помощью пипеток, электродов и химических веществ выясняли, что и как вызывает спайк. Психиатры, с другой стороны, пытались раскрыть механизмы разума с помощью длительных сеансов фрейдистского психоанализа. Мало кто из представителей обеих сторон пытался взглянуть через стену на другую. Они говорили на разных языках и стремились к разным целям. Для большинства практиков вопрос о том, как нейронные блоки могут создать структуру разума, оставался не просто без ответа, он был незаданным.

Но Маккалох еще во время учебы в медицинском колледже погрузился в среду ученых, которых волновал этот вопрос, и дал им возможность поразмышлять над ним. В конце концов, благодаря своим физиологическим наблюдениям, он пришел к догадке. Он увидел в зарождающихся концепциях нейронауки возможность соотнести их с понятиями логики и вычислений, которые он так любил в философии. Если рассматривать мозг как вычислительное устройство, подчиняющееся правилам логики, а не просто мешок белков и химикатов, то это открывало бы путь к пониманию мышления в терминах нейронной активности.

Аналитические способности, однако, были не тем, в чем преуспел Маккалох. Некоторые, кто знал его, говорят, что он был слишком большим романтиком, чтобы его могли удержать подобные детали. Поэтому, несмотря на то, что он годами вынашивал эти идеи в уме и в разговорах (даже будучи стажером в Бельвью, его обвиняли в том, что он "пытается написать уравнение работы мозга"), Маккаллох не мог решить несколько технических вопросов, как воплотить их в жизнь. Питтс, однако, был сравнительно невозмутим в аналитическом плане. Как только он заговорил с ним об этом, Питтс понял, какие подходы необходимы для формальной реализации интуиции Маккаллоха. Вскоре после их встречи была написана одна из самых влиятельных работ по вычислениям.

Работа "Логическое исчисление идей, имманентных нервной деятельности" была опубликована в 1943 году. Статья занимает 17 страниц, содержит множество уравнений, всего три ссылки (одна из которых - на Principia) и один рисунок, состоящий из маленьких нейронных цепей, нарисованных дочерью Маккалоха.

Статья начинается с обзора биологии нейронов, которая была известна в то время: нейроны имеют тела клеток и аксоны; два нейрона соединяются, когда аксон первого встречается с телом второго; через это соединение один нейрон обеспечивает вход для другого; определенное количество входа необходимо для того, чтобы нейрон выстрелил; клетка либо выпускает спайк, либо нет - никаких полуспайков или промежуточных спайков; и вход от некоторых нейронов - тормозных нейронов - имеет способность предотвращать спайк клетки.

Далее Маккалох и Питтс объясняют, как эти биологические детали согласуются с булевой логикой. Суть их утверждения заключается в том, что состояние активности каждого нейрона - либо стреляет, либо нет - подобно истинностному значению предложения - истинно или ложно. По их собственным словам, они "представляют себе реакцию любого нейрона как фактический эквивалент предложения, которое предложило его адекватный стимул".

Под "адекватным стимулом" они подразумевают нечто, относящееся к миру. Представьте себе нейрон в зрительной коре, активность которого представляет собой утверждение "текущий визуальный стимул похож на утку". Если нейрон работает, это утверждение истинно; если нейрон не работает, оно ложно. Теперь представьте другой нейрон в слуховой коре, который представляет утверждение "текущий слуховой стимул крякает, как утка". Опять же, если этот нейрон работает, то утверждение истинно, в противном случае оно ложно.