Для вероятности определенного состояния системы статистическая физика ввела понятие статистического веса, то есть числа способов, которыми данное состояние может быть реализовано. Для микросистемы характерно стремление перехода из состояния с меньшей вероятностью в состояние с большей вероятностью, от изолированной структуры – к полной равновесности.
При наличии в системе двух подсистем W>1 и W>2, статистический вес всей системы примет значение W = W>1· W>2, а общая энтропия – значение суммы энтропий подсистем S = S>1 + S>2. Выразив статистический вес системы через логарифм, Больцман вывел формулу: LnW = S>1 + S>2, которую усовершенствовал Планк: S = k · LnW, где k – коэффициент пропорциональности, или так называемая постоянная Больцмана.
Исследования Больцмана положили начало работам с так называемыми большими системами, то есть системами микроуровня, которые настолько малы и присутствуют в таком количестве, что не могут быть полностью сосчитаны и учтены. В микромире невозможно также вести наблюдение за одной избранной молекулой (а позже – частицей), поскольку невозможно отличить одну молекулу или частицу от другой.
Максвелл, пытаясь определить параметры, позволяющие как-то классифицировать молекулы, нашел два: распределение молекул по скоростям и энергии. Он же для описания случайного поведения молекул газа ввел понятие вероятности, вероятностный (статистический закон) и сформулировал закон распределения молекул по скоростям. Больцман доказал, что второй закон термодинамики является следствием статистических законов поведения частиц в больших системах.
Если в классической механике, принимая частицу за математическую точку, возможно было рассчитать ее поведение для прошлого, настоящего и будущего, то в больших системах законы классической механики оказывались неприложимыми. В термодинамике и статистической физике на место классических законов динамики встали статистические законы, которые неспособны дать точное описание состояния определенной частицы, а могут описать предположительное состояние одной из возможных частиц; точность в таких системах заменяется вероятностью. В классической физике вероятность подразумевает неточность, воспринимается как ошибка или недостаток, результат всегда определенный и может быть сосчитан.