Сила эксперимента
«Ложный позитив» – проблема для любой науки, если составители прогнозов не пользуются теоремой Байеса. Практика показывает, что многие гипотезы, выдвигаемые в медицинских и научных академических изданиях, оказываются ложными. Исследователи не сумели в независимых условиях воспроизвести полученные ими «позитивные» данные, опубликованные в медицинских журналах. Количество информации постоянно растет, однако количество значимой информации – в разы меньше. Большая часть информации – просто «шум».
Согласно теореме Байеса, нужно уточнять прогноз каждый раз, когда становится доступной новая информация. Говоря иначе, использовать метод проб и ошибок.
Успех Google объясняется умелым сочетанием креативной культуры с неукоснительным тестированием всего нового. Google постоянно работает над улучшением качества своих прогнозов. Когда мы отправляем поисковый запрос в Google и получаем список возможных ответов, порядок, в котором появляются ответы, отражает прогноз Google в отношении того, какие ответы будут для нас более полезными. Google для улучшения качества своего поискового механизма проводит в среднем около 10 тысяч экспериментов в год.
К сожалению, эксперты, составляющие прогнозы в различных областях жизни, далеко не всегда имеют возможность проверять правильность своих статистических моделей в реальности.
Никто из политологов не сумел предсказать распад СССР. Было ли это аномалией или политические эксперты в принципе неспособны к предвидению будущих событий? Исследования показали, что предвидение политологов, независимо от их специализации и опыта, оказывается не лучше, чем прогнозы, основанные на примитивной статистике. Чем больше интервью прессе дает тот или иной эксперт, тем больше вероятность, что его прогнозы окажутся неверными.
Если, например, при прогнозировании результатов выборов в Конгресс США выдвинуть диапазон возможностей, то такой прогноз будет честно отражать неопределенность окружающего мира. Однако многие «эксперты» боятся, что, признав наличие неопределенности вокруг нас, они тем самым проявят неуверенность в своей теории о том, как окружающий мир должен функционировать, и это нанесет ущерб их репутации.
При составлении прогноза важно стремиться к его аккуратности, исходя из фактов и обстоятельств, известных на сегодняшний момент, независимо от того, что вы предсказывали на прошлой неделе или в прошлом году.