Человек, рассказавший мне о Лас Вегасе, также провела неофициальное исследование лондонских букмекерских контор. Она сообщает, что один определенный игрок обычно бежит, после того, как сделает ставку, к определенной плитке в полу, где стоит на одной ноге, наблюдая за скачками по букмекерскому телевидению. По-видимому он когда-то выиграл, стоя на этой плитке, и у него зародилась идея, что чуществует причинная связь. Теперь, если кто-то еще стоит на «его» счастливой плитке (некоторые другие спортсмены делают это специально, возможно, пытаясь похитить часть его «удачи», или просто чтобы его подразнить), он танцует вокруг нее, отчаянно стараясь стать на плитку, пока не кончился забег. Другие игроки отказываются менять рубашку или стричь волосы, пока у них «полоса везения». Для сравнения, один ирландский профессиональный игрок, у которого была прекрасная копна волос, побрил ее полностью налысо в отчаянной попытке изменить свою удачу. Его гипотеза была, что ему не везло с лошадьми, и у него было много волос. Возможно, это как-то взаимосвязано; возможно, эти факты части значимой системы! Прежде, чем мы почувствуем свое большое превосходство, позвольте напомнить, что многие из нас были воспитаны в вере, что удача Самсона совершенно изменилась, после того как Делила остригла ему волосы.

Откуда мы можем знать, какие наблюдаемые закономерности являются подлинными, а какие случайными и бессмысленными? Методы существуют, и они связаны с наукой статистики и постановки эксперимента. Я хочу уделить немного больше времени, объясняя некоторые принципы, хотя и не детали, статистики. Статистику во многом можно рассматривать искусством отличать систему от случайности. Случайность означает отсутствие закономерности. Есть различные способы объяснить понятия случайности и закономерности. Предположим, что я утверждаю, что могу различить почерк девочек и мальчиков. Если я прав, то это должно означать, что есть реальная закономерность, связывающая пол с почерком. Скептик мог бы усомниться в этом, соглашаясь, что почерк варьирует от человека к человеку, но отрицая, что есть связанная с полом система в этих вариациях. Как вы можете определить, чье утверждение верно, мое или скептика? Бесполезно просто принимать мое слово. Как суеверный игрок из Лас Вегаса, я мог бы легко принять полосу везения за реальное, проверенное умение. В любом случае, у вас есть полное право потребовать доказательств. Какое доказательство должно вас убедить? Ответ — доказательство, которое публично зафиксировано и должным образом проанализировано.

Утверждение, в любом случае, является лишь статистическим. Я не утверждаю (в данном гипотетическом примере — в действительности я не утверждаю ничего), что могу безошибочно судить о поле автора данного образца почерка. Я лишь утверждаю, что среди огромного разброса, существующего среди почерков, некоторые компоненты его вариаций коррелируют с полом. Поэтому даже при том, что я часто буду ошибаться, если вы дадите мне, скажем, 100 образцов почерка, я должен быть способен рассортировать их на мальчиков и девочек точнее, чем можно достичь просто случайным угадыванием. Из этого следует, что для того, чтобы дать оценку любому утверждению, вы оказываетесь перед необходимостью вычислять, насколько вероятно то, что данный результат мог быть достигнут случайным угадыванием. Еще раз, мы должны выполнить вычисления вероятности случайного совпадения.

Прежде чем мы добираемся до статистики, есть некоторые меры предосторожности, которые вы должны принять при планировании эксперимента. Система — неслучайность, которую мы ищем — это закономерность, связывающая пол с почерком. Важно не запутывать задачу посторонними переменными. Образцы почерка, которые вы мне даете, не должны быть, например, личными письмами. Мне было бы слишком легко догадаться о поле автора из содержания письма, а не из почерка. Не выбирайте всех девочек из одной школы, а всех мальчиков из другой. У учеников из одной школы могут быть общие аспекты почерка, усвоенные либо друг от друга, либо от учителя. Это может привести к реальным различиям в почерке, и даже может быть интересно, но они могут быть характерными для различных школ, и только по-случайности для различных полов. И не просите, чтобы дети переписали отрывок из любимой книги. Я должен был бы находиться под влиянием выбора между «Черным Красавчиком» и «Biggies» (читатели, детские познания которых отличаются от моих, заменят эти примеры собственными).

Очевидно, важно, что все дети должны быть мне незнакомы, иначе я узнал бы их индивидуальный стиль письма и, следовательно, знал бы их пол. Когда вы передаете мне бумаги, на них не должно быть имен детей, но у вас должны быть какие-то способы отследить, какая из них чья. Присвойте им секретных кодов ради ваших же интересов, но будьте осторожны в выборе кодов. Не ставьте зеленую метку на бумагах мальчиков, а желтую — на бумагах девочек. Понятно, что я не буду и знать, где чья, но предположу, что желтый обозначает один пол, а зеленый другой, и это будет большой подсказкой. Было бы хорошей идеей присвоить каждой бумаге кодовый номер. Но не присваивайте мальчикам номера от 1 до 10, а девочкам от 11 до 20; это было бы все равно что те же желтые и зеленые метки. Также не давайте мальчикам нечетные номера, а девочки четные. Вместо этого присвойте бумагам случайные номера и держите список ключей запертым, чтобы я не мог его найти. Эти предосторожности в литературе называются «двойными слепыми» клиническими испытаниями.

Давайте предположим, что все надлежащие двойные слепые меры предосторожности были приняты, и что вы собрали 20 анонимных образцов почерка, перемешанные в случайном порядке. Я разбираю бумаги, сортируя их на две стопки, предполагаемых мальчиков и предполагаемых девочек. Я могу отнести некоторые в категорию «не знаю», но давайте предположим, что вы заставляете меня делать наиболее вероятное предположение, которое я могу в таких случаях. К концу эксперимента я сделал две стопки, и вы просматриваете их, чтобы узнать, насколько я был точен.

Теперь статистика. Вы предполагаете, что довольно часто я угадывал бы правильно, даже гадая просто наобум. Но насколько часто? Если мое заявление, что я могу определить пол по почерку, не обосновано, моя доля догадок должна быть не больше, чем у подбрасывающего монету. Вопрос в том, достаточно ли отличаются мои фактические результаты от результатов подбрасывания монеты, чтобы быть впечатляющими. Вот как приступить к ответу на этот вопрос.

Представьте все возможные способы, которыми я мог бы предположить пол 20 писавших. Перечислите их в порядке величины произведенного на вас впечатления, начиная со всех 20 правильных и опускаясь до совершенно случайного (все 20 неправильных почти столь же впечатляющи, как и все 20 правильных, потому что это показывает, что я могу видеть различия, даже при том, что я своенравно меняю знак на обратный). Затем взгляните на фактический результат моей сортировки, и подсчитайте процент от всех возможных сортировок, которые были бы столь же впечатляющи как фактическая, или больше. Вот как представить все возможные сортировки. Сначала обратите внимание, что есть только один способ быть 100-процентно правым и один способ быть 100-процентно неправым, но есть много способов быть правым на 50 процентов. Можно быть правым относительно первого листка, неправым относительно второго, неправым относительно третьего, правым относительно четвертого… Несколько меньше способов быть правым на 60 процентов. Еще меньше способов быть правым на 70 процентов, и так далее. Число способов сделать единственную ошибку настолько невелико, что мы можем выписать их все. Было 20 рукописей. Ошибка могла быть сделана на первой, или на второй, или на третьей… или на двадцатой. Таким образом, есть ровно 20 способов сделать одну ошибку. Более утомительно записать все способы сделать две ошибки, но мы достаточно легко можем вычислить, сколько их, и их 190. Еще труднее сосчитать способы совершить три ошибки, но вы можете убедиться, что это можно сделать. И так далее.