|
Данные говорят сами за себя и поэтому ничего удивительного, что формальная проверка значимости различий дала весьма впечатляющую оценку (0,0000000025 вероятность извлечения таких двух подвыборок из общей генеральной совокупности). Несмотря на всю привлекательность вышеописанного подхода (а он помимо получения оценки изменений с помощью такого привычного для психологов и интуитивно понятного показателя, как коэффициент корреляции, дает возможность сопоставления результатов, полученных, как будет показано далее, на совершенно другом материале), подводить окончательные итоги было бы преждевременным. Во-первых, может вызвать сомнение корректность статистической процедуры, примененной для оценки значимости различий. Каждый из сравниваемых массивов данных состоит из элементов, не являющихся, строго говоря, статистически независимыми. Насколько Т-критерий Стьюдента является робастным по отношению к нарушению положения о независимости отдельных наблюдений, положения, учитываемого при построении этого статистического показателя, остается на сегодняшний день неясным. Существует угроза валидности статистического вывода. Во-вторых, различия в условиях работы экспериментальных и контрольных групп состояли не только в наличии и отсутствии обратной связи, но и в том, что стимульным материалом в значительной части контрольных групп служили видеозаписи выступлений, в то время как в экспериментальных группах наблюдатели оценивали «живые» выступления. В-третьих, число выступлений в экспериментальных и контрольных группах было различным. Эти соображения относятся к угрозе внутренней валидности. Поэтому было принято решение провести дополнительное исследование проблемы при максимально возможном уравнивании всех сопутствующих и привходящих условий, т. е. тех факторов, которые не имеют отношения к независимой переменной, но могут повлиять на величину зависимой переменной. При проведении дополнительного исследования было сделано все возможное для выравнивания условий (разумеется, за исключением независимой переменной) проведения процедур в экспериментальной и контрольной группах. Стимульный материал в обеих группах был полностью идентичным. Этим материалом была видеозапись выступлений 20 человек, рассказывающих о посещении одного из российских городов. С каждым из испытуемых в экспериментальной и контрольной группах работа проходила в индивидуальном порядке. Для нивелирования эффекта порядка выступления каждый наблюдатель просматривал видеозаписи не совсем в том порядке, что другие представители его группы. Первый испытуемый экспериментальной группы начинал с просмотра первого эпизода, выносил свою оценку таким же образом, что и испытуемые основного эксперимента, получал обратную связь о точности своей оценки и лишь затем переходил ко второму эпизоду и т. д. Второй испытуемый этой же группы начинал с просмотра второго эпизода, а заканчивал первым. — 221 —
|