|
125 Основу психодиагностики чайные ошибки (вследствие колебаний внимания), и систематические ошибки (в силу неправильного толкования инструкции по какому-то признаку), допущенные одним экспертом, погашаются при суммировании с результатами других экспертов. Эти другие эксперты также допускают ошибки, но это — разные ошибки. Если вероятность единичной ошибки у среднего эксперта равна, допустим, 0.2, то вероятность того, что одну и ту же ошибку совершат 3 (или больше) экспертов из 5, равна всего лишь порядка 0.05. То есть коллектив, как видим, работает гораздо надежнее, чем одиночка. При ощутимой вероятности ошибки одиночного эксперта вероятность ошибки коллектива оказывается уже близкой к пренебрежимо малой вероятности. (Напомним, что 5 процентный уровень ошибки считается признанным стандартным допустимым уровнем вероятности ошибки в гуманитарных отраслях знания). Принцип суммирования независимых экспертных оценок широко используется в такой общеизвестной сфере, как спорт. Напомним, к примеру, о практике фигурного катания. Минимальное число судей присуждает победу в боксе — пять. И даже если двое из них ошиблись и присудили победу слабейшему боксеру, то победа все равно присуждается сильнейшему — достаточным оказывается мнение трех других. Массовое распространение компьютерной техники, в том числе в школе, придает новый импульс методам стандартизированного наблюдения. Дело в том, что провести корректное согласование экспертных оценок и измерить их надежность-валидность вручную, конечно, довольно трудно. Другое дело, когда вы вооружены специализированной компьютерной программой, облегчающей и сбор, и анализ таких экспертных оценок. Образец подобной программы под названием ЭКСПАН (ЭКСПертный АНализ) распространяется в России фирмой «Гуманитарные 126 Психодиагностика как научная технология технологии», работающей на базе факультета психологии МГУ (разработчик — А. Г. Шмелев, 1990,1995). С помощью этой программы вы можете оценить у целого класса учеников (до 50 человек) широкий набор до 50 признаков с помощью весьма представи-тельной группы экспертов (до 50 человек). ЭКСПАН быстро подсчитает как суммарную согласованность между экспертами (после этого можно удалить экспертов, которые совершенно не поняли смысла задания и сильно разошлись с оценками остальных), а также согласованность по отдельным признакам, что позволяет быстро определить, какие уточнения в инструкцию для данного признака нужно внести, чтобы добиться согласованности. Интеграция экспертных оценок — 76 —
|