Как мы видели раньше, основная критика объединенных экспериментальных результатов сводится к тому, что только ограниченное число исследователей опубликовали свои результаты полностью. Для экспериментов по игре игры в кости, число опытов на одного исследователя изменяется в пределах от 1 до 21, причем большинство ученых (64%) сообщили об одном, двух или трех опытах. Чтобы проверить критику, мы вычислили рейтинг опытов для тех 25 исследователей, которые сообщили только о трех или меньшем числе опытов. Результат остался высоко существенным, с отношением шансов миллиард к одному в пользу неслучайности явления. Поэтому нельзя думать, что положительный результат обусловлен какими-то отдельными исследованиями. Рис. 8.1. Величина рейтинга для всех экспериментов по годам с 50% величиной случайного рейтинга и 95% доверительным интервалом. Для тех лет, в которые проведены одиночные опыты доверительный интервал не показан. Общая оценка всех опытов с 95% доверительным интервалом показана в правом конце диаграммы. Но могла быть такая ситуация, что завышение результатов всех экспериментов происходит вследствие искажения результатов отдельных экспериментов. Чтобы проверить такую возможность, мы удалили отдельные выдающиеся результаты таким же способом, как это сделали Хонортон и Феррари при мета-анализе опытов по предвидению. В нашем анализе, пришлось удалить 52 исследования ( или 35% от общего количества), чтобы оставшиеся результаты были более однородными. В главе 4 обсуждалось, что в физических науках приходится исключать 45% данных, чтобы добиться однородности результатов. Общий эффект (в 96 остающихся опытах) после такого исключения остался статистически значимым, с величиной отношения шансов три миллиона к одному в пользу неслучайности явления. Таким образом, тот же самый эффект наблюдается и в остальных 96 опытах. А если публикуются только удачные эксперименты? Чтобы оценить эффект « черного ящика» , мы попытались вычислить общее число неопубликованных, неудачных экспериментов, которые необходимы для того, чтобы заметно ( до 20 к 1) уменьшить отношение шансов в пользу неслучайности явления. Оказалось, что общее число таких опытов дожно быть примерно 17974, или на одно опубликованное исследование должно приходится 121 неопубликованная работа, чтобы аннулировать установленный эффект. Иначе говоря, каждый из 52 исследователей должен был делать один неудачный эксперимент в месяц на протяжении 28 лет и его не публиковать. Такое предположение выходит за рамки разумных, поэтому нельзя объяснять результаты этих экспериментов выборочными, специально подобранными сообщениями. — 130 —
|