Но «знать» это одно, а уметь логически обработать – другое. Последнее зависит не от одного владения правилами логической обработки, но и от признаков, выделяемых для такой обработки.

Поэтому специфика материальной наполненности теста, с одной стороны, и особенности выборки или совокупности испытуемых – с другой, приводят в различных их сочетаниях к неодинаковым характеристикам надежности одного и того же психологического теста при его повторных проверках. Это признается современной тестологией. Как можно заключить, тестологи не считают надежность неотъемлемым признаком самого теста. Отсюда возникают требования к четкому описанию выборок, на которых устанавливалась надежность.

Так, авторы «Стандартных требований…» пишут:

...

«В руководящих указаниях по применению теста при сообщении данных о надежности… выборки должны быть описаны достаточно подробно, чтобы лицо, пользующееся тестом, могло судить, в какой мере приведенные данные приложимы к тем испытуемым и к тем проблемам, с которыми оно имеет дело». В комментарии, сопровождающем это требование, содержатся такие указания: «…надежность теста, предназначенного для отбора работников, должна быть установлена путем тестирования кандидатов (из числа которых будет произведен отбор), а не студентов колледжа и не лиц, уже состоящих на работе» (Standards for Educational and Psychological Test, 1974, § Г. 2).

Мало того, выдвигается и такое пожелание: «В руководящих указаниях по применению теста следует представлять демографическую информацию – распределение испытуемых по возрасту, полу, социально-экономическому и интеллектуальному уровню, трудовому статусу, биографии и времени пребывания в данной группе» (Standards for Educational and Psychological Test, 1974, § Г. 2.21).

Из сказанного вытекает, что исследователя не может удовлетворять информация о том, что надежность теста по сведениям, которые приводятся автором теста, достаточно высока. Совершенно необходимо проверить эту надежность в тех условиях, в которых тест будет применяться, с учетом всех тех особенностей, которые присущи интересующей исследователя выборке или популяции.

И сами диагностируемые свойства обнаружат себя по-разному, в зависимости от того, какой материал и какой выборке будет предъявлен для работы. Допустим, диагностируется некое элементарное умение обобщать, однако степень познанности испытуемыми материала, на котором изучается это умение, жизненный опыт в выделении функциональных признаков, подлежащих обобщению, – все это неизбежно отразится на конечных результатах работы испытуемых. Следовательно, диагностироваться будет не одно лишь элементарное умение обобщать, но и то, насколько близки испытуемым конкретные объекты, предлагаемые им в тесте.

Известно, что нередко испытуемые дают абсурдные ответы на вопросы или задачи теста, хотя, казалось бы, эти вопросы и задачи ничего трудного в себе не содержат. Если исключить из рассмотрения возможные случаи патологии и оставаться в рамках работы с людьми, обладающими нормальным мышлением, то абсурдные ответы, по-видимому, можно объяснить тем, что испытуемый, не имея опыта логической обработки объектов, в которых представлены задачи теста, начинает искать ответы по ассоциации, по случайным реминисценциям и т. п. Такого рода ответы не должны обмануть психолога-экспериментатора: понятно, что он, как специалист, не имеет права их оценивать в качестве доказательства алогичного мышления данного субъекта. Скорее всего, подобные ответы нужно отнести к категории так называемых «вынужденных». Испытуемый считает себя обязанным (раз он согласился участвовать в опыте) что-то ответить. Но он не умеет логически обрабатывать чуждый ему материал, у него нет такого опыта, само осознание правил такой обработки ему никогда ранее не требовалось. Это может быть и не единственная, но существенная и часто встречающаяся причина нелепых ответов. Заметим, что в истории применения тестов встречались исследования, в которых авторы описывали случаи тестирования своеобразных по национально-культурно-му составу выборок и на основании полученных результатов пытались делать заключение о каких-то особенностях мышления участников тестирования. Между тем здесь было бы более уместно говорить не об особенностях мышления как такового, а о своеобразии словарно-понятийного запаса испытуемых и о сложившихся в их практике способах его логической обработки. В не столь резко выраженном виде вопрос этот постоянно стоит перед психологом. Поэтому надежность, установленная на одной выборке, совсем не обязательно будет воспроизведена на любой другой.

Сказанное относится не к одним лишь интеллектуальным тестам, но также и к перцептивным, моторным и всевозможным тестам «специальных способностей». Вообще нет психологических тестов, которые не затрагивали бы прошлый опыт испытуемых, их знания и умения. Отсюда вытекает, что материальная наполненность теста, объекты, из которых построены задания, действия, которые нужно выполнить испытуемым, – все это ставит выборки, представляющие различные совокупности в не вполне одинаковые условия, а следовательно, коэффициенты надежности, полученные на различных выборках, могут сильно расходиться между собою.

Представляется необходимым более подробно остановиться на том, как должна устанавливаться надежность испытуемой функции. Адекватный прием установления этой надежности – повторное тестирование. Однако при использовании этого приема перед психологом неизбежно встает такой вопрос: если тесты действительно испытывают психологические свойства или функции, то совершенно неизбежно то, что эти диагностируемые признаки лишь в исключительных случаях останутся через достаточно длительный срок по своему уровню неизменными. В общем, чем короче срок от первого до второго испытания, тем – при прочих равных условиях – больше шансов, что диагностируемые психологические признаки сохранят зафиксированный уровень первого испытания, а чем срок больше, тем шансы на сохранение уровня будут ниже. Следовательно, как будто целесообразно проводить повторное тестирование через короткий срок после первого. Но тут есть и другая сторона дела: если повторить тестирование через небольшой срок, то испытуемые – по крайней мере, некоторые из них – попытаются воспроизвести свои прежние ответы по памяти и, следовательно, отойдут от смысла выполнения заданий.

Вряд ли можно подсказать исследователю, какой срок можно считать оптимальным (хотя такие сроки указываются некоторыми авторами руководств по тестированию).

Специалист, исходя из психологической сущности теста, условий, в которых тест предлагается испытуемым, считаясь с характеристиками групп испытуемых, должен сам выбирать такой срок. Естественно, что выбор должен получить научное обоснование с учетом только что перечисленных и, возможно, каких-то еще моментов. Так, например, если диагностируемое свойство психики таково, что как раз в период проведения тестирования оно интенсивно развивается, то при проведении повторных испытаний вряд ли можно даже при относительно небольшом разрыве во времени между повторным и первым испытаниями рассчитывать на получение высокого коэффициента надежности – процесс интенсивного развития, очевидно, приведет к тому, что обозначится разница между испытуемыми: одни пройдут его с большим, другие – с меньшим успехом, а это, в свою очередь, может зависеть от мотивации, от усвоенных приемов работы над материалом, контактов с учителями и многого другого. Можно полагать, что менее интенсивный процесс развития в данной выборке испытуемой функции может обеспечить более высокие показатели надежности.

Поэтому нельзя признать достаточным простое указание на то, что проводилось повторное тестирование и что при корреляции установлен такой-то коэффициент надежности. Исследователь, предлагающий читателю результаты своего тестирования, возможно претендующий на популяризацию своей методики, должен кратко и ясно описать не только процедуру установления надежности, но и обоснование избранного им срока от первого до повторного тестирования. Психологический тест, диагностирующий свойство, которое в период испытания находится в процессе интенсивного развития, допустим умение обобщать (во время прохождения некоторых разделов курса математики), может характеризоваться не очень высоким коэффициентом надежности, что, разумеется, не может быть истолковано как недостаток методики. Иными словами, коэффициент надежности, получаемый при сопоставлении первого и повторного тестирования, не следует рассматривать только с его узко формальной стороны, по его абсолютному значению, он должен интерпретироваться как показатель определенных изменений, развития исследуемого свойства. Вероятно, в некоторых случаях исследователю, представляющему свой тест, следовало бы рассмотреть по частям ту выборку, на которой устанавливалась надежность. При таком рассмотрении выделится часть выборки, люди, прошедшие сходный путь развития, а также другая часть, где развитие испытуемых шло особенно быстрыми темпами, и часть выборки, где развития у испытуемых практически совсем нельзя заметить. Каждая часть выборки заслуживает специального анализа и истолкования.