|
В настоящее время на практике применяются различные методы выбора экспертов: эвристические, статистические, тестовые, документальные, комбинированные. К эвристическим методам относятся методы самооценок и оценок экспертов экспертами. Наиболее распространен на практике метод взаимных рекомендаций: ответственный за акмеологическую экспертизу подбирает знакомых, деловых людей, которые в свою очередь рекомендуют других и т. д. Первоначально бригады экспертов так и формировались. Однако после того как стиль профессиональной деятельности у бригады становился устоявшимся, такие группы стали менее эффективными. Здесь сказались социально-психологические закономерности возникновения и функционирования групп, коллективов, занятых определенным видом деятельности. Нередко проявляется эффект чрезмерной технологической срабатываемости таких групп. Здесь нужны психологические инъекции для мобилизации их деятельности. Дж. Норкини, Дж. Сиа, Л. Кроссо (John Norcini, Judy Shea, Louis Grosso 1991) исследовали влияние числа экспертов и числа оцениваемых параметров на точность оценок. Важным в их исследовании был вопрос о необходимом множестве единиц наблюдения для получения надежных экспертных оценок при сочетании, изменении этих двух переменных. Для эксперимента было создано несколько форм теста. При работе экспертов варьировались количество экспертов и число параметров, которые они оценивали. Уменьшение ошибки достигалось как увеличением количества экспертов, так и увеличением количества параметров в тестах, по которым оценивается тот или иной объект. При пяти экспертах и 25-ти оцениваемых параметрах ошибка оценки составляла 1 единицу на 100, т. е. была на уровне 1%. Дальнейшее увеличение количества экспертов и параметров оцениваемого объекта к статистически значимым уменьшениям ошибки оценивания не вело. Однако эти эксперименты проведены с экспертами, которые хорошо знали свою область оценивания. Выявлена зависимость: уменьшить ошибку экспертных оценок можно за счет увеличения оцениваемых параметров при сокращении количества экспертов и наоборот. На точность экспертных оценок влияют и способы, разновидности экспертных методов, которые используются. Существуют методики акмеологических экспертиз, построенные на организации общения между экспертами, а также построенные не на изоляции каждого эксперта от мнения своих коллег при оценке. Так, достаточно эффективной оказались акмеологическая экспертиза учебника с использованием метода размышления вслух. В этой экспертизе принимали участие эксперты и редакторы учебников. В результате экспертизы все участники эксперимента пришли к общему мнению. В результате было сформулировано гораздо больше рекомендаций, нежели просто при формализованной оценке учебника или же при оценке учебника без обсуждения вслух. — 134 —
|