88
Кроме того, в обыденном языке понятия надежности и валидности иногда отождествляются. Например, прогноз погоды называется надежным в том случае, если он соответствует реальным событиям, а не тогда, когда различные радиовещательные компании дают одинаковую информацию. Лекарство считается надежным тогда, когда оно дает желаемый эффект, но не когда различные специалисты выписывают одно и то же лекарство в сходных случаях. Любое руководство по теории тестов перечисляет множество возможных источников случайных ошибок. В качестве таких источников могут быть названы: сам человек, колебания внимания и работоспособности, забывчивость, легкомысленное отношение, импульсивность. Второй источник — это среда. Окружение различается объективно и субъективно. Оно по-разному влияет на субъекта, работающего с тестом. Наконец, и сами методики, и процедуры, и даже сами исследователи могут быть источниками ошибок. В той мере, в какой можно учесть или устранить эти факторы, они не являются источниками «ненадежности» теста, но всегда остаются иные, неконтролируемые, ошибки. Существует ряд практических процедур, определяющих случайные ошибки. Теория «обобщаемости» («generalizability theory») Кронбаха, Глезера, Нанды и Раджаратнама (1972) наряду с другими может рассматриваться как система, упорядочивающая источники ошибок. Эта теория определяет различные коэффициенты надежности применительно к той конкретной области заданий, показатели которой психолог хочет обобщить: например, относительно заданий (внутренняя согласованность), относительно времени (стабильность) , относительно оценок разных экспертов (согласие между теми, кто производит оценивание). Дисперсионный анализ применяется для оценки всех источников (см., например, Van der Kamp, 1976, De Gruvter & Van der Kamp, 1991). Надо признать, что психологам, математикам и методологам не так легко представить себе, что же такое случайная ошибка «на самом деле». Но, может быть, к этому и не 89 следует стремиться. В математических моделях трудностей с понятием случайной ошибки не возникает, а практическая ценность этого понятия доказана (личное сообщение Сниджерса, Амстердам, 20 декабря, 1994). Исторически сложилось так, что надежность измерительного инструмента или процедуры измерения определяется с помощью двух конкретных показателей: ошибки измерения и коэффициента надежности. Первый отражает расхождение тестовых баллов, получаемых у одного человека. Если величина этого расхождения мала, то измерение может быть признано надежным. Стандартная ошибка рассматривается как стандартное отклонение в процессе большого числа измерений на одном и том же человеке. Практически это недостижимо, так как невозможно много раз предлагать работу с одним и тем же тестом одному и тому же человеку. Выходом из этой ситуации стало введение коэффициента надежности. Коэффициент надежности является выражением двух отношений: постоянства — непостоянства и стабильности — нестабильности. Существует несколько коэффициентов, описание которых можно встретить в любом руководстве по использованию тестов. В 1937 году Кьюдер и Ричардсон составили список этих коэффициентов. Хорошо известны предложенные ими KR-20 и KR-21. — 63 —
|