Сознательная Вселенная

Другая критика мета-анализа - в том отношении, что авторы как правило, публикуют только исследования, в которых есть значащие результаты, а опыты , где нет интересных результатов, остаются неопубликованными. Это называется проблемой скрытой информации или проблемой черного ящика, которая относится к неудачным исследованиям [42]. Если объем этой скрытой информации большой, то оценка изучаемого эффекта может быть сильно преувеличена. Если исследователи публикуют только успешные исследования, мы приходим к неизбежному заключению, что все выполненные опыты оказались успешными. А это может быть или не быть истинным заключением. Мы обсудим проблему скрытой информации в деталях немного позже, включая пути измерения ее воздействия на результат мета-анализа.

Возьмем аспирин

На рис. 4.2 показаны результаты мета-анализа двадцати пяти медицинских исследований, исследующих вопрос, может ли аспирин помочь при сердечных приступах. Анализ был вначале опубликован в British Medical Journal за 1988 г. Результат анализа был широко описан в средствах массовой информации как крупное медицинское достижение, а в 1990 журнал Science заявил, что это пример того, как надо применять мета-анализ.

Рис. 4.2. Влияние аспирина на сердечные приступы ( по данным 25 исследований). Только пять из двадцати пяти исследований были «удачны» (см. доверительный интервалы), но общая оценка , показанная в самом правом углу и имеющая небольшой доверительный интервал, несомненно свидетельствует в пользу того, что аспирин действительно имеет терапевтическое значение ( помогает при сердечных приступах).

На рис. 4.2. точечная оценка показывает итоги каждого исследования как отношение опытов, в которых лечение помогло, против опытов, в которых никакого эффекта не наблюдалось, вместе с доверительным 99% интервалом для каждого исследования. Таким образом значение 1.0 на этом рисунке означает, что применение аспирина не было эффективным при сердечных приступах. Значение меньше чем 1.0 означает, что лечение аспирином имело эффект в сравнении с контрольной группой. Главный момент для нашего обсуждения - это факт , что только пять исследований из двадцати пяти были удачны, так как они имеют 99% доверительные интервалы, расположенные выше «единичной» линии. Однако, большинство исследований (80%) были как бы неудачны, так как имеют доверительные интервалы, включающие «единичную» линию. Рецензент, сомневающийся в эффективности применения аспирина, мог бы ограничиться этими необработанными при помощи мета-анализа данными и получить уверенность в том, что нет никаких свидетельств, доказывающих эффективность применения аспирина.