Теория кодирования подробно исследует проблемы разумного сочетания экономности и надёжности при передаче сообщения.
Экономное сообщение может существенно уменьшить объём передаваемой информации, уменьшить требования к пропускной способности канала связи, повысить оперативность передачи сообщения.
Один из подходов к уменьшению объёма состоит в передаче так называемой сжатой информации. Принцип передачи сжатой информации состоит в следующем. На передающем и приёмном концах имеется одинаковый набор знаков. Они образуют алфавит. Каждому знаку ставится в соответствие определённое слово, фраза или фрагмент изображения. Это соответствие известно как передающей, так и приёмной стороне. Если нужно передать какое-либо изображение, то по каналу связи передаётся только знак, которым это сообщение закодировано. Именно таким способом передаётся информация со спутников.
Такой же принцип может быть использован для обеспечения секретности. В качестве знаков алфавита могут использоваться, например, страницы книг. Т.е. передаются номера страниц, на приёмном конце по этим страницам определяется текст.
На различных этапах информационного процесса достигаются различные цели, поэтому информация может неоднократно перекодироваться.
Кодирование информации осуществляется с помощью конечного набора элементарных символов. Такой набор символов называется алфавитом.
Всем известны алфавиты естественных языков: русский (кириллица), латинский и др., представляющие собой конечное множество букв. В русском – 32 буквы, в латинском – 28, в китайском более 40 тыс. иероглифов.
Совокупность цифр образуют цифровые алфавиты:
Ø двоичный алфавит содержит две цифры: 0 и 1;
Ø троичный: 0, 1 и —1;
Ø десятичный: 0, 1, 2,…, 9;
Ø восьмеричный;
Ø двенадцатеричный;
Ø шестнадцатеричный.
Однако понятие алфавита является более широким. В общем случае алфавит может включать в себя совокупность русских и латинских букв, цифр, специальных знаков, математических знаков и т. д.
Количество символов в алфавите определяет его свойства, то есть экономность, длину слов, удобство преобразований, а также удобство записи слов. На основе цифровых алфавитов может быть построены способы кодирования информации:
Ø непозиционная, например, римская система счисления;
Ø позиционные системы счисления.
В компьютерных системах наиболее широкое применение нашло двоичное кодирование информации.