К сожалению, приходится констатировать, что на формальное отношение к статистике, на недооценку ее собственно доказательного смысла наталкивают некоторые зарубежные руководства по применению тестов. Сплошь и рядом солидные издания, содержащие полезную информацию, выделяют раздел статистики из общего текста и подают его как свод обязательных правил. Возможно, что для малоквалифицированных экспериментаторов такой способ изложения полезен; он может предостеречь их от грубых ошибок, коренящихся в слепой доверчивости по отношению к любым данным, лишь бы они были получены экспериментальным путем. Но собственно логическая сторона статистики остается при этом нераскрытой. Неквалифицированный экспериментатор избегает одних ошибок, но не гарантирован от того, чтобы совершать другие, вытекающие из бездумного применения статистики.

Прежде всего это относится к понятию надежности. Психологу, знакомому с современным состоянием проблемы психологического развития, ясно, что двукратное применение тестов через какой-то промежуток времени (например, через полгода, как рекомендует Л. Кронбах в своем известном руководстве по тестированию) может привести к значительному расхождению результатов первого и второго тестирования (Рябинина Э. П., 1976). Это расхождение, собственно, не означает, что тесты плохи. Оно может быть обусловлено и тем, что за период между двумя применениями тестов развитие детей или взрослых в экспериментальной выборке шло неодинаковым темпом: одни развивались быстрее, другие – медленнее. Темп может зависеть и от специфических возрастно-половых особенностей детей к моменту первого и второго тестирования, от изменения их интеллектуально-учебной мотивации в оба обозначенных момента, от их индивидуальных особенностей и от ряда других, вероятно, уже менее существенных обстоятельств. Конечно, может иметь решающее значение и то, что функции, испытываемые тестом, вообще неустойчивы и по этой причине не могут служить надежным – то есть стабильным – объектом измерений. Все эти достаточно простые соображения, однако, могут быть упущены при слепом следовании формальному требованию, которое гласит, что тест должен обладать определенной надежностью, как бы независимо от того, что и в каких условиях им испытывается.

Само по себе это требование резонно. От чего бы ни зависела низкая надежность, ее нельзя просто игнорировать, нужно понять, от чего она зависит.

С другой стороны, если имеются теоретические основания для того, чтобы считать испытываемое качество устойчивым и стабильным, как это, например, имеет место в отношении основных свойств нервной системы, то ссылки на неравномерность развития испытуемых как на причину низкой надежности должны быть признаны несостоятельными.

Иногда исследователи, проверяющие тест, бездоказательно считают, будто все способы установления надежности теста словно бы идентичны. Разумеется, самым простым по организации является способ проверки теста как измерительного инструмента, что достигается сопоставлением его частей, обычно – путем коррелирования четных и нечетных задач теста. Что такая проверка теста нужна, это не может быть предметом спора. Но она никак не заменяет других способов проверки, в частности проверки стабильности измеряемой функции, а в некоторых случаях, где это необходимо, и проверки теста на константность – путем сопоставления результатов, полученных в более или менее одинаковых условиях и на одной и той же экспериментальной выборке двумя экспериментаторами. Все это говорит о том, что статистика не может достичь поставленных перед нею целей, если она будет восприниматься исследователями как совокупность технических приемов; статистика полезна, если она служит в качестве аппарата доказательств психологической диагностики.

Один из укоренившихся приемов проверки диагностических методик – проверка их валидности. В самом деле, если тест испытывает какое-то психическое качество и если это качество, согласно гипотетическим построениям психолога, имеет существенное значение в каком-то виде учебной или трудовой деятельности, то тем самым как бы постулируется, что между уровнем развития или степенью представленности данного психического качества и успешностью выполнения учебной и трудовой деятельности должна существовать определенная связь. Чаще всего предполагается, что чем выше представленность психического качества, тем должна быть выше успешность.

Это рассуждение и было, по-видимому, причиной того, что для установления валидности постоянно производили корреляции между успешностью в тесте, диагностирующем данное психическое качество, и теми видами успешности, которые так или иначе устанавливались в изучении психологом учебной и трудовой деятельности.

Следует заметить, что вопрос о валидности всегда представлялся одним из наименее ясных и наименее разработанных (Wallace S. R., 1965). Видный американский психолог Е. Гизелли (Ghiselli Е., 1949), неоднократно изучавший состояние валидности применительно к исследованиям в области профессионального труда, показал, что коэффициенты корреляции, получаемые при реализации сопоставлений «тест – профессиональная успешность», обычно невысоки.

Были случаи, когда сопоставление давало отрицательный результат, то есть получалась обратная линейная зависимость: чем успешнее выполняется тест, тем ниже была профессиональная успешность. Получались и высокие совпадения. Но картина в целом всегда оказывалась весьма запутанной. По Гизелли выходит, что коэффициент порядка 0,40 – это даже «законная» характеристика возможной валидности.

Дело, однако, не в том, может или не может удовлетворить психолога коэффициент валидности такого порядка. Дело в другом: каков логический смысл этого коэффициента, о чем он говорит психологу, какова сама процедура извлечения информации о практической действенности теста или совокупности тестов. При безумной игре коэффициентами эти реальные вопросы остаются в тени.

Психолог, получивший коэффициент валидности порядка 0,40, может объяснить этот высокий коэффициент тем, что тест или тесты, которые, как он убежден, действительно раскрывают важные для учебной и трудовой деятельности стороны психики, не затрагивают некоторых других ее сторон, также имеющих большое значение. Так, интеллектуальный тест не касается сферы мотивации. Вследствие этого нужное психическое качество может быть представлено в достаточной степени и оно могло бы обеспечить успешность, но сам испытуемый неактивен, деятельность, осуществляемая им, протекает на невысоком уровне мотивации, поэтому и объективные результаты ее ниже возможных. С другой стороны, можно построить такое же рассуждение, но с обратным знаком: качество представлено в едва-едва удовлетворительной степени, но заинтересованность велика; следствие – результат деятельности выше ожидавшегося. Итак, испытуемые из одного – психологического – ряда несколько смещаются тут и там, когда они переходят в другой – учебно-трудовой – ряд, где их оценивают по их объективным достижениям. Это смещение и приводит к упомянутому коэффициенту.

Нередко и другие соображения приводятся исследователями:

• недостаточно объективная характеристика успешности со стороны тех лиц, которые ведают учебной или трудовой оценкой – имеются в виду учителя, инструктора, руководство цехов и пр.;

• влияние на оценку таких факторов, которые не могут в полной мере учитываться психологом, исследующим психические качества (неправильная организация труда, мешающая выявить подлинные возможности испытуемого, неудовлетворительное оборудование, на котором испытуемый вынужден учиться или работать, и т. д.).

Видимо, каждому непредубежденному человеку ясно, что коэффициент более высокого порядка при таких условиях и в самом деле не может быть получен, а если его получают, то это можно объяснить каким-то маловероятным стечением обстоятельств, а отнюдь не высоким качеством теста. Складывается впечатление, что психолог, получивший коэффициент другого порядка (положим, на уровне 0,70), имеет больше причин для беспокойства, чем тот, кто получил традиционный 0,40, а то и меньше. В общем, для получения низкой связи между результатами теста или тестов и оценками успешности причин более чем достаточно.