Критерий надежности прочно вошел в диагностику, однако при его применении нельзя упускать из виду его логической сущности. В частности, представляется целесообразным толковать надежность в трех смыслах, в зависимости от того, что за ряды коррелируются.

1. Как надежность методики, применяемой в качестве измерительного или ранжирующего инструмента.

2. Как стабильность изучаемого психологического или психофизиологического признака или функции.

3. Как константность, то есть относительную независимость получаемых с помощью методики результатов от неучтенных условий опыта и личности экспериментатора.

Цель этого толкования состоит в том, чтобы осветить сущность статистического приема и самого критерия надежности (Гуревич К. М., 1969).

Если придерживаться данной интерпретации, то о надежности измерительного инструмента можно судить, основываясь на следующих соображениях. Допустим, что для измерения длины предметов наблюдателю дана линейка с делениями, и таких делений – двадцать пять. Наблюдатель не знает, каковы эти деления – сантиметры, дюймы или вершки, – он прежде всего заинтересован в том, чтобы сравнивать между собою предметы по их длине и выражать эту длину в каких-то единицах. Заранее известно, что предметы будут различаться по признаку длины; длина одного составит, положим, десять единиц, длина другого – пять единиц, а третьего – двадцать единиц. Если линейка не протарирована, то прежде всего наблюдатель должен утвердиться в уверенности, что все деления линейки одинаковы. В частности, один из простых приемов, который можно применить, чтобы решить этот вопрос, состоит в том, чтобы сопоставить между собой две половины линейки. Если при измерении одного и того же объекта выявится расхождение между делениями одной и другой половины, то это должно означать, что инструмент ненадежен и для измерений неприменим. Все соображения, которые приведены выше, носят не столько узкоматематический, сколько логический характер. При проверке методики (теста) на надежность применяется сопоставление с помощью метода корреляций четных и нечетных заданий по их решаемости на представительной выборке. Этим устанавливается надежность методики как таковой.

Специфические особенности психологии и психофизиологии таковы, что определить надежность самой методики не значит решить все вопросы, связанные с ее применением. Нужно еще установить, насколько стабильны признаки, которые исследователь намерен измерить или ранжировать. Хорошо известно, что многие психологические или психофизиологические признаки в более или менее значительной степени определяются психическими состояниями, а эти последние нередко носят временный характер (Рябинина Э. П., 1976). Чем теснее и непосредственнее связан измеряемый признак с психическими состояниями и чем более подвержен данный субъект постоянным сменам психических состояний, тем в меньшей мере будут стабильны результаты ранжирования или измерения этого признака. Многие психологические признаки нестабильны по самой своей природе: это, например, признаки, которые характеризуются уровнем их развития, положим развитие мышления в каких-то его проявлениях, развитие специальной памяти и т. п. При изучении последних признаков приходится еще считаться с тем, что субъекты могут находиться в не вполне одинаковых условиях и этим может определиться темп их развития.

Как и в предыдущем случае, можно выбрать статистический прием, который адекватно выразил бы искомую стабильность признака. Исследователь не вправе забывать, что роль этого приема чисто служебная: он должен быть применен в качестве приема доказательства. Вопрос о том, что он должен подтвердить и что опровергнуть, ставится исключительно по смыслу самого исследования. Совершенно очевидно, что там, где речь идет о диагнозе лиц, развивающихся в силу каких-то причин разными темпами, там и не следует ждать высоких совпадений между двумя аналогичными пробами, разделенными таким периодом, который достаточен для выявления различий в развитии. Корреляция между первой и второй пробой тогда докажет, что признаки изменились у разных испытуемых в разной степени. Дальнейший анализ, если он нужен для цели исследования, мог бы показать, что испытуемые, находившиеся под влиянием одной группы воздействий, развивались быстрее, чем испытуемые, находившиеся под влиянием другой группы воздействий.

В некоторых видах диагностических исследований вопрос о стабильности измеряемых признаков имеет решающее значение – это исследования, на основании которых строится длительный прогноз. Естественно, что психолог, высказывающий суждения о каком-то признаке, который может на долгие годы предопределить судьбу испытуемых, должен быть вполне уверен в том, что признак этот характеризуется высокой стабильностью. Тридцать-сорок лет тому назад это бесспорное, казалось бы, положение еще не было осознано психологами, занятыми прикладными проблемами; признаки, обосновывающие прогноз, не проверялись на стабильность.

В последние годы проведено много исследований, показывающих, что стабильность ряда функций и процессов, которые должны были бы играть заметную роль в прогнозе, невысока. Прямо и косвенно относящиеся к этому вопросу данные можно найти в обзоре Л. Тайлер (Tyler L., 1972). Укажем, что, повторив психологические испытания через двадцать лет, авторы одного из таких исследований получили коэффициент корреляции между первым и вторым испытанием, равный +0,22. Исследуемые признаки, как видно, не отличаются высокой стабильностью, следовательно, и прогноз, основывающийся на этих признаках, характеризуется незначительной вероятностью. Во всех описанных ситуациях статистика может входить как доказательство большей или меньшей стабильности признака и как таковое она поистине незаменима.

В некоторых видах психологических исследований, имеющих в виду диагностические цели, приобретают особое значение условия опытов, а среди них – личность экспериментатора, его «неформализуемые» особенности, присущая ему манера общения с испытуемыми во время опыта. Очевидно, личность экспериментатора играет более существенную роль при проведении так называемых недетерминированных методик, к числу которых относятся проективные методики. В той или другой степени личность экспериментатора влияет на исход любого психологического эксперимента, но не всегда это влияние имеет существенное значение.

Правила диагностического экспериментирования предусматривают, что опыты и испытания должны всегда проходить в тождественных условиях. Поэтому диагностические методики снабжаются подробными инструкциями, с примерами и правилами их разбора. Но определенное значение сохраняют некоторые неучтенные условия, а среди них и личность экспериментатора, сообщающего инструкции. Волевой нажим, динамичность в сообщении инструкции, наконец, даже дикция и громкость – все это может отразиться на результатах применения методики.

В любом случае, если у исследователя возникает подозрение по поводу влияния личности экспериментатора или других условий на исход процедуры диагностирования, целесообразно проверить методику с помощью критерия «константности». Иначе результаты одного диагностирования будут несопоставимы с результатами другого. Такие проверки проводились, например, в лаборатории дифференциальной психофизиологии Института общей и педагогической психологии АПН СССР (Олыпанникова А. Е., Александрова Н. И., 1969).

В упомянутой работе был использован тот же статистический прием-корреляция. С его помощью было доказано, что при достаточной общепсихологической квалификации экспериментаторов ни их личные особенности, ни другие неучитываемые условия при проведении некоторых психофизиологических диагностических исследований не играют значительной роли.

В практике методических критериев тестологии вопрос о влиянии личности экспериментатора и некоторых условий тестирования специально рассматривается лишь в редких случаях. Однако это не может служить основанием для его недооценки. Применение любого критерия при проверке методик не может носить характер формальности. Приступая к конструированию и затем к использованию своих методик, исследователь ставит перед собою определенные вопросы. Поиск ответа на них и приводит его к статистике.