Проектирование распределенных информационных систем - страница 22

(ɑ), уменьшающую его априорную неосведомленность так, что апостериорная (после получения сообщения β) неопределенность состояния системы становится равной H_>β(ɑ). Тогда количество информации I_>β(ɑ) о системе ɑ, полученное в сообщении β, определится как:

т. е. количество информации измеряется изменением (уменьшением) неопределенности состояния системы. Если конечная неопределенность H_>β (ɑ) обратится в нуль, то первоначальное неполное знание заменится полным знанием и количество информации станет равным:

Иными словами, энтропия системы H (ɑ) может рассматриваться как мера недостающей информации. Энтропия системы H (ɑ), имеющей N возможных состояний согласно формуле ШЕННОНА, равна:

где P_>i – вероятность того, что система находится в i-м состоянии.

Для случая, когда все состояния системы равновероятны, ее энтропия определяется по формуле:

Рассмотрим пример. По каналу связи передается n- разрядное сообщение, использующее m различных символов.

Так как количество всевозможных кодовых комбинаций определяется по формуле N = m ^>n, то при равновероятности появления любой из них количество информации, приобретенной абонентом в результате получения сообщения, будет определяться по формуле ХАРТЛИ:

Если в качестве основания логарифма принять m, то формула упростится и количество информации станет равным:

В данном случае количество информации (при условии полного априорного незнания абонентном содержания сообщения) будет равно объему данных I = V_>д, полученных по каналу связи.

Наиболее часто используются двоичные и десятичные логарифмы. Единицами измерения в этих случаях будут соответственно «бит» и «дит».

Степень информативности сообщения определяется отношением количества информации к объему данных, т.е.

где: Y – характеризует лаконичность сообщения.

С увеличением Y уменьшаются объемы работы по преобразованию информации (данных) в системе. Поэтому стремятся к повышению информативности, для чего разрабатываются специальные методы оптимального кодирования информации.

Семантическая мера информации.

Синтаксические меры количества информации в общем случае не могут быть непосредственно использованы для измерения смыслового содержания, ибо имеют дело с обезличенной информацией, не выражающей смыслового отношения к объекту.