Жизнь VS Энтропия - страница 11

–1) существует множество X элементов, называемых сообщениями;

–2) существует множество A, называемое алфавитом, элементы которого называются символами;

–3) существуют объекты, называемые передатчик, приемник и канал передачи сообщений;

–4) сообщения передаются от передатчика к приемнику по каналу передачи в виде конечных упорядоченных множеств символов;

–5) в силу неустранимой случайности состояний канала передачи, передаваемые сообщения множества X преобразуются им в принятые сообщения множества Y, включающего X;

–6) количество информации1 I(x;y), доставляемое принятым сообщением y при передаче сообщения x, есть

где P(x) – априорное, а P(x|y) – апостериорное распределение вероятностей сообщений x после приема сообщения y. Назовем эти постулаты Системой Символьной Передачи Сообщений (ССПС).

Интегральная характеристика всей системы передачи – это среднее количество взаимной информации I(X;Y) между множествами X и Y. Прямое вычисление по формулам теории вероятности дает

I (X ; Y) = H(X) – H(X | Y),

где H(X), H(X | Y) – априорная и апостериорная энтропия распределений вероятностей множества X, преобразуемого каналом в множество Y [2]. Эта формула определяет глубинный смысл информации, как меры снижения энтропии.

В том же 1948 году математик Н. Винер опубликовал книгу «Кибернетика, или Управление и связь в животном и машине». Эта работа открыла целое направление моделирования «живого» техническими средствами. Дж. фон Нейман формулирует концепцию самовоспроизводящихся машин. В ней он приходит к выводу, что их конструкция требует наличия памяти и канала передачи наследственной информации. Он же формулирует принципы построения вычислительных машин «фон-Неймановского» типа, которые до сих пор доминируют в компьютерном мире. Их особенностью является наличие памяти, хранящейся в ней программы и обрабатывающего ее инструкции процессора. Несколько позже Ф. Розенблатт создает персептрон – альтернативу фон-Неймановским компьютерам. Персептрон непосредственно моделировал процессы распознавания образов в животном мире. Алгоритм работы персептрона задавался не в виде текста на неком языке программирования, а в виде структуры связей между его элементами. Важным его отличием от машин фон-Неймана является наличие процедуры обучения в процессе работы. Сегодня «машины Розенблатта» превратились в нейронные сети, а распознавание образов в искусственный интеллект.