Если имеется множество обучающих примеров и задана функция ошибки (функционал качества), то обучение нейронной сети превращается в задачу многомерной оптимизации, для решения которой могут быть использованы следующие четыре группы методов:
– итерационные методы локальной оптимизации с вычислением частных производных первого и второго порядков;
– методы стохастической оптимизации;
– методы глобальной оптимизации.
К методам локальной оптимизации с вычислением частных производных первого порядка относятся: градиентный метод (наискорейшего спуска); методы с одномерной и двумерной оптимизацией целевой функции в направлении антиградиента; метод сопряженных градиентов; методы, учитывающие направление антиградиента на нескольких шагах алгоритма.
К методам локальной оптимизации с вычислением частных производных первого и второго порядка относятся: метод Ньютона, методы оптимизации с разреженными матрицами Гессе, квазиньютоновские методы, метод Гаусса-Ньютона, метод Левенберга-Маркардта, байесовский метод обучения, при котором осуществляется регуляризация процесса обучения.
Стохастическими методами являются: поиск в случайном направлении, имитация отжига или метод модельной закалки, метод Монте-Карло (численный метод статистических испытаний).
Задачи глобальной оптимизации решаются с помощью перебора значений переменных, от которых зависит целевая функция. Здесь находят применение также и генетические алгоритмы обучения нейронных сетей.
Достоинством методов первой группы является их высокое быстродействие. Их очевидный недостаток, связанный с возможностью находить только локальные экстремумы, преодолевается путем применения специальных мер и они используются на практике для обучения НС с многоэкстремальными целевыми функциями. Одним из самых широко распространенных в силу своей простоты методов этой группы является итерационный метод обратного распространения ошибки, который явился обобщением на случай многослойных сетей алгоритма Видроу-Хоффа (дельта-правила) обучения однослойных сетей.
К достоинствам методов двух следующих групп можно отнести их более высокое качество обучения, а к их недостаткам – очень большое число шагов обучения, что затрудняет их применение для обучения НС больших размерностей.
Эффективное обучение рекуррентных нейронных сетей остается темой требующей внимания и активного исследования. Несмотря на огромный потенциал и возможности рекуррентных нейронных сетей, главной проблемой является трудность обучения их, сложность и низкая сходимость существующих алгоритмов обучения.