|
- Как обеспечиваются надежность и валидность наблюдения? То есть как установить, что данные наблюдения лишены случайных ошибок (надежность) и отражают заданное психическое свойство (валидность)? Для этого необходимо привлечь к стандартизированному наблюдению за одними и теми же объ- 123 Основы психодиагностики ектами и событиями не менее двух независимых наблюдателей-кодировщиков. При этом либо все наблюдатели одновременно производят «живое» наблюдение, либо они имеют дело с видеозаписью. После получения независимых протоколов между протоколами рассчитываются хорошо известные психологам с университетским образованием коэффициенты сопряженности (аналог коэффициентов корреляции для качественных признаков — Рунион, 1982). Значение вычисленного коэффициента сопря-женности указывает на сводный показатель «надеж-ность+валидность». Чем ближе к единице этот коэффициент, тем более надежным и валидным считается методика наблюдения в исполнении данного коллектива наблюдателей. Степень отличия коэффициента от 1 указывает на одновременное наличие случайных (ненадежность) и систематических (невалидность) ошибок наблюдения. Огрубленно можно сказать, что относительная доля правильных кодировок в отношении к общему числу кодировок и есть мера «НАДЕЖНОСТИ-ВАЛИДНОСТИ» наблюдения. Таком образом, в любом методе экспертной оценки в качестве меры «надежности-валидности» выступает СОГЛАСОВАННОСТЬ оценок независимых экспертов. Очевидно, что подобный эксперимент по измерению надежности и валидности наблюдения не есть удел и задача практиков. Этим должны заниматься те, кто разрабатывает методику стандартизированного наблюдения- Но... Но в отличие от психометрической стандартизации теста (см. следующий раздел 2.3), важно апробировать не только качество методики и однозначность инструкции, но и проверить то, насколько квалифицированными исполнителями оказались данные конкретные наблюдатели-кодировщики. Отступление для пояснения. Как учатся изме- 124 Психодиагностика как научная технология рять артериальное давление медики? Им дают прослушивать записанный на аудиокассеты стандартный набор шумов. Они учатся различать систолические и диастолические тоны сердца. Они проходят так называемую «стандартизацию». Только добившись определенного уровня точности (надежности), медик получает соответствующее аттестационное удостоверение, в котором фиксируется его право производить измерение артериального давления. В идеале подобную стандартизацию на эталонном материале должны проходить все наблюдатели-кодировщики для исполнения любой методики стандартизированного наблюдения. То есть после того, как состоялась проверка самой методики на эталонном наборе наблюдателей, и методика признается разработанной, каждый новый наблюдатель-исполнитель проходит стандартизацию по отношению к тому материалу, на котором добились успеха (то есть дали согласованные протоколы) первые наблюдатели. Такова общая логика в разработке любой методики экспертной оценки. Вначале первичный материал для оценки и инструкция по оценке считаются нестан-дартизированными, а в качестве своего рода эталона выступают те первые эксперты, которые с ним знакомятся и первыми добиваются согласованности (нередко путем многократного внесения уточнений и модификаций в инструкцию, кодифицирующую признаки). Но после этого данный проинтерпретированный (запротоколированный) материал уже в свою очередь считается эталонным, а новые эксперты. проходят стандартизацию по отношению к этому материалу. Понятно, что чем больше независимых экспертов привлечено к этапу первичной отработки кодифицированной системы признаков и чем больше кодировщиков участвует в практическом наблюдении, тем надежнее оказываются результаты этого наблюдения. Это происходит из-за того, что и слу- — 75 —
|