В результате удалось выявить суперпредсказателей (2 % участников). Суперпредсказатели отвечали лучше, чем контрольная группа, на 78 %, лучше, чем исследователи из институтов (Мичиганский университет, MIT и др.) на 30–70 %, а также лучше, чем профессиональные аналитики, имеющие доступ к материалам с грифом «секретно».
В первом же исследовании Тетлока принимали участие только профессиональные эксперты (1984–2004). Оно показало, что качество предсказаний примерно равно вероятности попадания шимпанзе в яблочко при игре в дартс.
1.2. Оптимист, скептик и реальность
Можно ли дать точный прогноз? И да, и нет. Триггерами политических событий порой выступают ситуации, которые невозможно предсказать, – так думает скептик. Например, Арабскую весну запустило самосожжение торговца фруктами в Тунисе.
В то же время погоду на несколько дней вперед ученые научились предсказывать. Да и мы изо дня в день неплохо угадываем загруженность дорог. Под этим мог бы подписаться оптимист. Реальность же лежит где-то между.
Фитнес-браслет заставляет двигаться, поскольку наглядно показывает – когда лежишь на диване, километры сами себя не проходят. Также и метеорологи сталкиваются с проверкой своих прогнозов ежедневно. Экономические и политически аналитики обычно лишены быстрой обратной связи (кроме того, прогнозы иногда служат иным целям, например, запугать или привести к изменению политики).
Подотчетность – ключ к повышению качества прогнозирования – показал проект «Трезвый расчет».
В 1956 г. Арчи Кокрейн пришел в себя после операции, чтобы узнать, что у него обнаружили раковую опухоль на нескольких органах, опухоль вырезали, жить ему осталось считанные месяцы. Но врачи ошиблись: Арчи Кокрейн прожил до 1988 г., рака у него не оказалось – хирург провел операцию, не дожидаясь результатов биопсии, и вырезал доброкачественную опухоль.
Сегодня эта история смахивает на анекдот, но на протяжении тысячелетий медицина была искусством, а не наукой. Исследования по эффективности применяемых методов не проводились (если человек выжил после пускания крови – значит, лечение помогло, если умер – лечение ни при чем). Сегодня рандомизированные контрольные испытания – стандарт.
Да, на операционный стол Кокрейн лег без ожидания результатов анализов, хотя уже в тот момент был убежденным приверженцем доказательной медицины. Как так?