На графике видно, что из выбранных для метаанализа работ четыре принадлежат одной и той же исследовательской группе (Gitswiller и др.). Причём именно эта группа исследователей получила наиболее убедительные положительные результаты, а поскольку это одна группа, то в анализ включены фактически не четыре работы, а одна. Тогда если предположить (в качестве мысленного эксперимента), что эта научная группа провела исследование тенденциозно, и исключить её результаты из анализа, то из оставшихся исследований будет невозможно скомбинировать достоверный результат. В итоге оказывается, что в большинстве работ получен отрицательный результат. А если учесть, что публиковать предпочитают положительные результаты, реально представленная в научной литературе информация далека от полноты, и метаанализ не является идеальным методом доказательства надёжности лечения или диагностики болезней.
Метаанализ был предложен эпидемиологами всего лишь для расчёта необходимого числа больных, включаемых в исследование, чтобы гарантировать статистически достоверные показатели планируемого исследования, а не для вынесения категорических и окончательных суждений. По этой причине результаты метаанализа должны быть лишь основой для планирования клинических экспериментов, в которых полученный при метаанализе результат следует ещё подтвердить. Итак, даже серьёзные научные исследования, результаты которых были подвергнуты метаанализу, следует воспринимать достаточно критично. Хотя нужно отметить, что метаанализ признан лучшим из инструментов доказательной медицины (табл. 2.1).
Ещё один пример потенциальной ненадёжности некоторых научных экспериментов. Для усиления контроля за исследованием используют так называемый двойной слепой метод – ни больной (1-й уровень «ослепления»), ни врач (2-й уровень «ослепления») не знают, получает больной лекарственный препарат или плацебо («пустышку»). В конце исследования результаты лечения сравнивают. Очевидно, что препарат должен оказать существенно лучший эффект. Если в исследовании используют «ослепление», его называют контролируемым, а если при этом выбор плацебо/лекарства для лечения происходит случайным образом, такое исследование называют рандомизированным контролируемым (РКИ).
Лукавство РКИ можно проследить на примере известного анекдота об учёном. Незадачливый учёный решил проверить, где у блохи находится орган слуха. Для этого он некоторым блохам отрывал лапки и приказывал им прыгать. Так как без ног блохи переставали прыгать, учёный сделал «естественный» вывод, что орган слуха у блохи находится в лапках.