Читать PANN: Новая Технология Искусственного Интеллекта. Учебное пособие - Борис Злотин, Владимир Маценко

Начало развитию искусственных нейронных сетей положили работы Тьюринга, Мак-Каллока, Питтса и Хебба. На основе их идей Фрэнк Розенблатт в 1958 г. создал первую искусственную нейронную сеть «Персептрон», способную после соответствующего обучения распознавать и на основе распознавания классифицировать разные объекты. К сожалению, в самой концепции персептрона была заложена критическая ошибка, основанная на господствовавшей тогда биологической доктрине Дэйла: «…нейрон использует один и только один нейромедиатор для всех синапсов». Эта доктрина была перенесена во все искусственные нейросети в виде правила: «…один искусственный синапс использует один и только один синаптический вес». Это правило можно назвать доктриной Розенблатта.

В 70-х гг. XX века доктрина Дэйла была отвергнута биологией. А доктрина Розенблатта, к сожалению, до сегодняшнего дня остается неизменной для всех нейронных сетей («рекуррентных», «резонансных», «глубоких», «сверточных», «LSTM», «генеративных», сетей прямого и обратного распространения ошибки и т. п.). Именно она заставляет применять при тренинге сетей итерационный подход, известный как метод градиентного спуска (gradient descent method), требующий огромного объема вычислений. И именно эта доктрина «виновата» в невозможности построить адекватную рабочую теорию нейронных сетей. А также в том, что эти сети характеризуются непрозрачностью и непонятностью, сравнительно низкой скоростью обучения, сложностью доучивания и множеством других «врожденных» проблем. Подробнее о проблемах классических нейронных сетей см. Приложение 1.