|
Эмпирические исследования психометрических методов весьма многочисленны. Валенсиа, Рэнкин и Ливингстон (Valencia, Rankin & Livingston, 1995) исследовали отклонения, связанные с заданиями Шкалы умственных способностей Оценочной батареи Кауфмана для детей, на базе выборок американских учеников мексиканского и европейского происхождения. Используя коэффициент частной корреляции (для поправки на возраст, пол и способности), авторы обнаружили, что из 120 заданий первой шкалы 17, а из 92 заданий последней шкалы 58 ведут к отклонениям. Понятно, что вряд ли оставшиеся 34 задания представляют собой адекватный инструмент, при помощи которого можно оценить данный конструкт во всей его полноте. Эллис, Беккер и Киммел (Ellis, Becker & Kimmel, 1993) исследовали эквивалентность англоязычной версии Трирского личностного опросника и оригинальной версии на немецком языке. Из 120 заданий 11 были причиной отклонений. Повторное исследование на базе новой выборки из США показало, что 6 заданий из выявленных 11 вновь вызывали отклонения. Это количество гораздо выше того, которое предполагается большинством исследований отклонений, связанных с тестовыми заданиями. С моей точки зрения, на основании многочисленных исследований отклонений, связанных с тестовыми заданиями, можно сделать некоторые предварительные выводы. Выявление в процессе кросс-культурного исследования источников отклонений на уровне тестовых заданий, вне всяких сомнений, весьма важно как с теоретической, так и с практической точки зрения, однако решение этой проблемы сопряжено со значительными трудностями. Первое, часто бывает трудно понять, почему тестовое задание вызывает отклонения. Второе, применение различных методов по выявлению отклонений часто приводит к разным результатам. Конвергенция статистических данных по отклонениям изучалась с нескольких точек зрения. Иногда исследователи обращались к конвергенции данных, полученных при помощи различных статистических методик. Неоднократно отмечалась низкая или умеренная корреляция различных методов, в особенности в более ранних исследованиях (например, Devine & Raju, 1982; Ironson & Subkoviak, 1979; Rudner, Getson & Knight, 1980; Shepard, Camilli & Averill, 1981). Более современные исследования говорят о повышении уровня согласованности данных, возможно, в связи с тем, что становится понятны наиболее подходящие методы статистического анализа (например, Huang, Church & Katigbak, 1997; Raju, Drasgow & Slinde, 1993; Rogers & Swaminathan, 1993). К тому же стабильность статистических Данных по отклонениям, связанным с тестовыми заданиями, невысока, что показывают тест-ретестовые и сравнительные исследования (например, Skaggs & Lissitz, 1992). Наконец, обнаружен низкий уровень соответствия результатов, полученных оценочными и статистическими методами (Engelhard, Hansche & Rutledge, 1990; Van Leest 1997a, 1997b). Таким образом, едва ли мы способны определить заранее, какого рода тестовые задания приведут к появлению отклонений или, как это выразил Л. Бонд (Bond, 1993): «Теории о том, почему тестовые задания по-разному воспринимаются разными группами, можно назвать не иначе как примитивными» (р. 278). Неудивительно, что исследования отклонений, связанных с тестовыми заданиями, не выработали определенных принципов проведения кросс-культурного исследования. — 132 —
|