|
Рисунок 19.2 Этот рисунок содержит кривые градуирования для прогнозов погоды (незакрашенные кружки) и диагнозов пневмонии (закрашенные кружки). В то время как прогнозы погоды почти безупречно проградуированы, врачи демонстрируют чрезмерную самоуверенность (при наличии или отсутствии у пациента пневмонии). Данные о прогнозах погоды взяты из отчета Аллана Мерфи и Роберта Уинклера (1984), а данные о врачах — из исследования Джей Кристенсен- Шалански и Джеймса Бушихеда (1981). 277 совершенно проградуированы, в среднем их прогнозы почти всегда совпадают с погодой (вопреки традиционным взглядам!). А вот диагнозы проградуированы очень плохо; большинство предсказаний этого характера лежат ниже линии, символизирующей совершенную градуировку. Существует еще несколько способов оценивать градуировку, некоторые из них подразумевают хорошее знание математики. Например, одна из наиболее распространенных методик состоит в следующем: необходимо подсчитать так называемый «показатель Брайера» (названный по имени статистика Гленна Брайера). Показатель Брайера может быть разложен на три компоненты, одна из которых соотносится с градуировкой. Эта компонента числа Брайера представляет собой взвешенную среднюю величину между среднеквадратичными отклонениями пропорциональной точности во всех категориях и вероятности для каждой категории (более подробно см. Йетс, 1990). Одна из наиболее интересных оценок градуировки известна как «индекс неожиданности». Индекс используется для оценок промежутков, точность которых известна. Например, представьте, что вы почувствовали 90%- ную уверенность в том, что правильный ответ на вопрос п. 12 Анкеты находится где- то между дюймом и милей (см. п. 126). Поскольку правильный ответ больше мили, этот ответ должен быть засчитан как неожиданность. Индекс неожиданности — это простое процентное выражение оценок, лежащих за границей уверенности. В фундаментальном обзоре исследований градуирования Лихтенштейн, Фишхофф и Филлипс (1982) оценивали некоторые исследования, в которых респондентов просили указать интервалы, в которых они уверены на 98% (т.е. интервалы, которые с вероятностью 98% включали бы в себя верный ответ). В каждом исследовании ожидаемый индекс неожиданности составлял 2%. В среднем по данным всех экспериментов (всего около 15 000 оценок) индекс неожиданности составил около 32%. Другими словами, когда респонденты были уверены на 98%, что правильный ответ в названном ими промежутке, они оказывались правы на 68%. Еще раз переоценка подтвердила правило, а не исключение. — 141 —
|