В качестве примера Пуртинга (Poortinga & van de Vijver, 1987) исследовал выработку навыков ориентирования у представителей неграмотных индейских племен и у голландских новобранцев. Амплитуда реакции электропроводимости кожи, зависимая переменная, была значительно выше в группе индейцев. Он выдвинул предположение, что причиной этих различий между группами могут быть различия в возбуждении. Возбуждение измерялось как самопроизвольные флуктуации реакции электропроводимости кожи в контрольных условиях. Кросс-культурные различия в выработке навыков ориентирования исчезли после статистической проверки этих флуктуации методом иерархического регрессионного анализа. Свидетельства наличия отклонений, связанных с методом, можно собрать также в процессе применения тест-ретестовых, учебных и/или промежуточных исследований. Так Нкая, Нюто и Боннэ (Nkaya, Huteau & Bonnet, 1994) использовали Стандартные матрицы Равена, работая с учениками шестых классов во Франции и Конго. В условиях неограниченного времени оценки улучшались в обеих группах сходным образом, но при временных ограничениях конголезские ученики между второй и третьей сессиями делали большие успехи по сравнению с учениками-французами. Группа ученых показала (Ombredane, Robaye & Plumail, 1956), что в некоторых группах повторное проведение теста также может оказывать влияние на взаимосвязь с внешними параметрами. Было обнаружено, что прогностическая валидность оценок в соответствии с тестом Равена повышается после повторного проведения в группе неграмотных конголезских рабочих. Судя по всему, на результаты обоих исследований оказывает влияние процесс научения, поскольку по ходу тестирования улучшается понимание испытуемыми поставленной задачи и растет их осведомленность о самом тесте и процедуре его проведения. С учетом этих доводов валидность результатов при первом проведении теста ставится под сомнение в связи с наличием источников отклонений, связанных с методом. Последней группой подходов, позволяющих справиться с отклонениями, являются подходы, которые имеют дело с отклонениями на уровне тестовых заданий. Отклонения, связанные с тестовыми заданиями, обычно определяются одним из двух методов: оценочным (лингвистическим и/или психологическим) и психометрическим. Пример лингвистического метода можно найти в работе Гриль и Бар-тель (Grill & Bartel, 1977). Они проанализировали Grammatic Closure субтест, входящий в Тест психолингвистических способностей штата Иллинойс, на предмет наличия отклонений в отношении носителей английского языка, не соответствующего установленным нормам. Ответы, содержащие ошибки, сделанные белыми и чернокожими американскими детьми, показали, что более половины ошибок были сделаны за счет ответов, приемлемых для языка, в котором не соблюдаются установленные нормы. За последние десятилетия были разработаны десятки статистических приемов, позволяющих выявить отклонения, связанные с тестовыми заданиями, определить такие отклонения позволяет и модификация существующих методов; примерами тому могут служить метод Мантеля-Хенцела (Holland & Wainer, 1993), логистическая регрессия (Pogers & Swaminathan, 1993) и теория реакции на тестовое задание (Hambleton & Swaminathan, 1985). — 131 —
|