Хотя риск ошибки, сопряженный с получением выводов, снижается, если формулировать заключение с использованием вероятностных, а не абсолютных понятий, остается еще значительный риск, связанный с распространением выводов, касающихся данной выборки или поведения, в двух направлениях. Можно распространить выводы на более абстрактный, концептуальный уровень объяснения или перенести их на более конкретный, специфический пример. В первом случае можно совершить ошибку при экстраполировании выводов на более широкую область, поскольку предполагаемая общая закономерность, или теоретический процесс, может не проявляться в частных результатах. Во втором случае возникает необходимость предположить, что по общим закономерностям можно прогнозировать поведение конкретного человека.
В каждом из этих случаев возможны ошибки, относящиеся к двум типам. Если уровень значимости обнаруженных различий р<0,05, то экспериментатор, заключивший, что он обнаружил истинный эффект, ошибется в пяти случаях из ста. Это объясняется тем, что одни только случайные факторы могут порождать различия такой же величины и данный эксперимент может быть как раз одним из этих пяти возможных случаев. Такие ошибки называются ошибками первого рода (или типа альфа): сделан вывод о существовании зависимости, хотя на самом деле она отсутствует. Теперь давайте иначе посмотрим на весь наш вероятностный процесс принятия решений и предположим, что различия не признаны значимыми, потому что они находятся на уровне p<0,06 (т. е. не соответствуют обычному критерию научной обоснованности выводов). Тогда в 94 случаях из 100 исследователь заключит, что зависимость не существует, в то время как в действительности дело обстоит как раз наоборот. Это ошибка второго рода (или типа бета).
Чем руководствуется психолог, принимая решение о том, стоит ли ему рисковать (ошибка первого рода) или следует проявить консерватизм (ошибка второго рода)? Ясно, что при выборе стратегии подобного решения необходимо учитывать практические последствия, вытекающие из экспериментальных выводов, относительную величину потерь или опасности, которые возникнут из — за ошибок каждого типа, и наконец, характер влияния этих ошибок на развитие науки — приведут ли они к стимуляции творческого мышления или будут ему препятствовать. Например, при обобщениях с целью получения концептуальных теоретических утверждений о физических или психологических явлениях прогрессу науки сильнее мешают ошибки второго рода (из — за которых могут преждевременно быть прекращены исследования в какой — либо области), чем ошибки первого рода (которые легко могут обнаружить другие исследователи, проведя независимые репликации экспериментов). Однако если репликации проводятся редко, то ошибка первого рода может так и остаться неисправленной, в результате чего много сил будет потрачено зря на проверку следствий исходной необоснованной гипотезы.
Применение результатов лабораторных исследований на практике
Перед экспериментатором всегда стоит дилемма: обретение контроля сопряжено с потерей возможностей. В лабораторной обстановке невозможно воспроизвести весь диапазон психологических переменных и полную интенсивность их воздействия. Дело в том, что в ходе эксперимента испытуемые лишь на короткое время подвергаются воздействию независимой переменной. Нередко задача испытуемого слабо связана с другими его жизненными переживаниями и оказывает минимальное влияние на его дальнейшее функционирование. Кроме того, существуют правовые, этические и моральные соображения, которые накладывают ограничения на характер и интенсивность экспериментальных манипуляций. Но, несмотря на то что силу влияния переменных часто лучше всего можно продемонстрировать в неконтролируемой естественной обстановке, при изучении явлений на этом уровне возможно возникновение целого ряда опасностей, таких как недопонимание протекающих при этом процессов, недостаточно точная спецификация каузальности и неспособность проанализировать сложную систему факторов и выделить релевантные составляющие ее переменные. С другой стороны, преимущества, которые дает полный контроль над экспериментом, могут быть сведены на нет из — за тривиальности его содержания. В результате очищения, стандартизации, контроля и отбора определенных стимулов и параметров реакций может оказаться, что экспериментатор создал отдаленное и бледное подобие явлений или процессов, которые он намеревается изучать. При таких условиях результаты исследования могут почти не иметь практического значения.
При планировании любого конкретного эксперимента имеется возможность обойти некоторые из этих ограничений путем применения комплексных стратегий исследования и проведения нескольких различных экспериментов, посвященных одной теме. Предположим, к примеру, что экспериментатор обеспокоен тем, что использование денежного вознаграждения для варьирования степени «оправданности» в эксперименте по изучению вынужденного согласия и диссонанса (см. главу 3), возможно, не то же самое, что варьирование степени «оправданности» путем предоставления испытуемым социальных причин согласия. Экспериментатор может оценить такую возможность, включив в эксперимент концептуальные репликации «оправданности» или проведя несколько различных экспериментов, в которых производится систематичное воспроизведение изучаемых концептуальных переменных.
Экспериментальный и жизненный реализм. Чтобы устранить несоответствие между лабораторными и реальными жизненными условиями, исследователи обычно стремятся сделать свои эксперименты реалистичными. Наиболее важным видом реализма является экспериментальный реализм, который, в сущности, означает «включение эксперимента в жизнь» (Aronson and Carlsmith, 1968; Aronson et al., 1990). Следует позаботиться о том, чтобы процедура эксперимента была увлекательной и интересной, а независимые переменные должны привлекать и удерживать на себе внимание испытуемых. События, происходящие в лаборатории, должны «захватывать» испытуемых, чтобы они реагировали (естественно) на эти события, а не изнывали от скуки, думая (а может быть, и тревожась) о себе как об объектах внимательного наблюдения или пытаясь понять, в чем состоит гипотеза экспериментатора. Если в эксперименте отсутствует экспериментальный реализм, то возникает опасение, что наблюдаемые каузальные зависимости распространяются только на ситуации, когда люди знают, что они участвуют в эксперименте. Поэтому в случае отсутствия экспериментального реализма мы можем почти ничего не узнать о более общих психологических процессах.
В некоторых случаях экспериментатор также стремится к жизненному реализму, наличие которого означает, что манипулирование переменными и их измерение производится таким же образом, как в повседневной жизни (Aronson and Carlsmith, 1968). Если исследователя интересует, как стиль заданных свидетелям вопросов влияет на их воспоминания о связанных с преступлением событиях (см. главу 8), то он может устроить так, чтобы испытуемые стали свидетелями инсценированного преступления, а затем сообщили свои воспоминания о нем при различных условиях допроса. При такой организации эксперимента в нем будет больше жизненного реализма, чем если показать испытуемым серию слайдов, а затем допросить их. Жизненный реализм особенно важен тогда, когда предполагается перенос результатов на специфическую ситуацию или психологический процесс из повседневной жизни, а не на более широкий класс ситуаций или процессов.
Экспериментальная валидность. Мы уже видели, что зависимые переменные должны быть валидными. Концепция валидности также применима к эксперименту в целом, и в этой концепции сведены воедино все основные проблемы, которые мы поднимали при обсуждении методологии проведения экспериментов. Выводы, которые мы получаем из экспериментов, могут быть невалидными — а значит, и непригодными для генерализации — по двум различным причинам. Мы можем ошибочно заключить, что между конкретными манипуляциями и конкретными оценками, которые мы используем, существует каузальная связь, в то время как на самом деле наблюдаемая связь возникла за счет какого — то другого фактора, артефакта или побочной переменной. В этом случае мы сделаем неправильный вывод из — за нарушения внутренней валидности эксперимента. Кроме того, можно также прийти к ошибочному заключению о том, что специфическая каузальная зависимость существует для всех прочих ситуаций с участием концептуальных переменных — ситуаций, которые не оценивались в данном исследовании; т. е. эта зависимость переносится на других людей, другие ситуации, оценки и концептуально эквивалентные манипуляции. В этом случае речь идет об отсутствии внешней валидности эксперимента. Чтобы избежать нарушения внутренней и внешней валидности выводов, нужно учитывать наиболее распространенные причины нарушения валидности, которые возникают при экспериментальных исследованиях, а затем анализировать различные способы планирования экспериментов, позволяющие избежать ошибок того и другого типа.