Приведенный пример относится к группе событий, применительно к которым может быть поставлен вопрос типа «да – нет». Количество информации, которое можно получить при ответе на вопрос типа «да – нет», называется битом (англ. bit – сокращенное от binary digit – двоичная единица). Это количество и принимают за единицу информации. Бит —минимальная единица количества информации, и поэтому получить информацию меньшую, чем 1 бит, невозможно. При получении информации в 1 бит неопределенность уменьшается в 2 раза. Таким образом, каждое подбрасывание монеты дает нам информацию в 1 бит.
В качестве других моделей получения такого же количества информации может выступать электрическая лампочка, двухпозиционный выключатель, магнитный сердечник, диод и т. п. Включенное состояние этих объектов обычно обозначают цифрой 1, а выключенное – цифрой 0.
Рассмотрим систему из двух электрических лампочек, которые независимо друг от друга могут быть включены или выключены. Для такой системы возможны следующие состояния:
Лампа А 0 0 1 1
Лампа В 0 1 0 1
Чтобы получить полную информацию о состоянии системы, необходимо задать два вопроса типа «да —нет» – по лампочке А и лампочке В соответственно. В этом случае количество информации, содержащейся в данной системе, определяется уже в 2 бита, а число возможных состояний системы – 4. Если взять три лампочки, то необходимо задать уже три вопроса и получить, как следствие, 3 бита информации. Количество состояний такой системы равно 8 и т. д.
Связь между количеством информации и числом состояний системы устанавливается формулой Р. Хартли:
I = log>2N,
где I – количество информации в битах;
N – число возможных состояний.
Группа из 8 битов информации называется байтом. Если бит – минимальная единица количества информации, то байт принят в качестве ее основной единицы. Существуют производные единицы количества информации: килобайт (Кбайт), мегабайт (Мбайт), гигабайт (Гбайт), терабайт (Тбайт) и т. д. Так, в одном килобайте содержится 1024 байта.
1 Кбайт = 1024 байта = 2>10 байта.
1 Мбайт = 1024 Кбайта = 2>20 байта, (1024 × 1024).
1 Гбайт = 1024 Мбайта = 2>30 байта, (1024 ×1024 × 1024).
1 Тбайт = 1024 Гбайта = 2>40 байта, (1024 × 1024 × 1024 × 1024).
Эти единицы чаще всего используются для указания объема памяти ЭВМ. Имеются и более крупные единицы количества информации, однако в них пока нет практической надобности. [Миллер, 2013]