В статистике существует понятие, которое называется нулевая гипотеза. Это понятие отражает позицию по умолчанию, утверждающую, что между двумя явлениями нет никакой связи. Она говорит, что орел или решка на монете выпадают равновероятно и независимо от погоды. Что рак легких не связан с курением. Что цвет глаз человека не зависит от его пола. Что число пропавших в течение недели носков не зависит от того, наблюдалось ли на небе НЛО. Что токсичность картошки не зависит от того, генетически модифицирована она или нет, и так далее. В некоторых случаях нулевая гипотеза верна, в других – нет. До появления доказательств обратного нулевая гипотеза считается верной по умолчанию, поэтому научные эксперименты сводятся к тому, что нулевую гипотезу пытаются опровергнуть.
Статистические тесты позволяют оценить, насколько высока вероятность получить некий результат при условии, что нулевая гипотеза верна. Допустим, что мы провели эксперимент, в котором подкинули монетку десять раз и все десять раз выпала решка. В данном случае за нулевую гипотезу можно принять равную вероятность выпадения орла и решки. При таком допущении вероятность выкинуть решку десять раз из десяти равна ½ в десятой степени, то есть менее одной тысячной. Полученная вероятность называется P-значение, или просто P, и это вероятность получить такое же или более существенное отклонение результата эксперимента от ожидаемого. Полученное P сравнивается с пороговым значением, уровнем значимости, обозначаемым α (альфа). Общепринятыми значениями α являются либо 0,05, либо 0,01, либо 0,001. Отметим, что 0,05 – самый мягкий порог, который можно встретить в научной литературе, хотя это лишь некоторая условность.
Если полученное значение P меньше, чем пороговое значение, мы считаем, что нулевая гипотеза отвергнута и можно принять альтернативную гипотезу. В случае с монеткой получилось так, что P < 0,001, а значит, есть основания полагать, что решка выпадает чаще орла. Чем меньше порог α, тем меньше вероятность, что мы получим ложноположительный результат, найдем закономерность там, где ее нет. Чем больше порог α, тем меньше вероятность, что мы получим ложноотрицательный результат, то есть не найдем закономерности там, где она есть. Правильно подобранные пороги позволяют соблюсти баланс между этими двумя типами ошибок.