Шенноновская энтропия возникла в теории информации в связи с экономным, т.е. наиболее коротким кодированием сообщений. Выяснилось, что наиболее экономными являются способы кодирования, доставляющие сообщениям максимальную энтропию. Их нельзя сжать, т.е. они наиболее сложны по Колмогорову. Но тогда оказывается, что тексты на естественных языках гораздо проще, чем телеграфные их эквиваленты. Дело в том, что наличие по законам грамматики внутреннего порядка в этих текстах очевидно. Часто встречаются устойчивые буквосочетания, связки слов и т. п. Компьютерные программы эффективно сжимают файлы этих текстов. Еще в 50-е годы XX века были проведены измерения так называемой избыточности письменной формы некоторых языков. Нулевая избыточность означает, что текст нельзя сжать, т. е. он наиболее сложен по Колмогорову. И одновременно это означает, что его энтропия максимальна, т. е. он совершенно хаотичен и не несет никакого смысла. В то же время полные смысла великие тексты стремятся к некому пределу минимума энтропии. Этому пределу соответствует избыточность в 100%. Избыточность текстов естественных языков дают значения, значительно превышающие 50 и даже 70 процентов. Это означает, что они имеют низкую энтропию и нормализованную колмогоровскую сложность. Минимальными единицами языка, обладающими смыслом, являются предложения. Грамматика языка дополнительно упорядочивает их структуру, а порядок снижает энтропию. Можно сказать, что производство смысла и снижение энтропии – это взаимосвязанные явления.
Получается, что колмогоровская сложность противоположна интуитивно понимаемой нами сложности. И это далеко не единственный пример парадоксов сложности.
Естественные языки эволюционируют со временем. Является ли это эволюцией от простого к сложному? Одним из способов развития языка являются заимствования слов из чужих языков. При этом в язык вносятся дополнительные комбинации букв, не характерные для него. Например, заимствованные в русский язык английские джаз, джоуль, джинсы и т.д., создали дополнительные комбинации сочетаний букв дж. Очевидно, что это повысило его избыточность, и, следовательно, понизило его энтропию. В данном случае эволюция также идет с нарушением Второго начала. Можно ли это считать общей закономерностью?
Как обнаружили генетики, все, что здесь было сказано о естественных языках, переносится и на генетические тексты. Предложения в них – это гены. Смысл, заложенный в отдельном гене, это директива на производство определенного вида белка. Законченный генетический текст (геном) – это директива на производство определенного вида организма. Существует и своеобразная генетическая грамматика, регулирующая структуру предложений-генов. Генетиками выявлено, что только 1,5 – 3% генома высших животных принимают участие в передаче генетической информации (кодируют белки и другие необходимые для «развертывая» организма–потомка вещества). Остальная часть генома выполняет регуляторные функции в самом процессе передачи информации либо вообще не влияет на наследственность (так называемая, мусорная ДНК). И тогда снова оказывается, что геномы сложных организмов более просты, чем геномы организмов примитивных!