Алгоритм обратного распространения ошибки заключается в вычислении ошибки между предсказанием нейронной сети и реальным значением. Затем эту ошибку используют для корректировки «весов»[5] или связей между нейронами. Идея состоит в том, чтобы нейронная сеть становилась лучше с каждым шагом обучения.
В 1997 году компьютер Deep Blue от IBM победил мирового шахматного чемпиона Гарри Каспарова.
2000-е
В это время началось развитие глубокого обучения, были предложены алгоритмы и методы для обучения глубоких нейронных сетей[6]. Особый интерес вызывали сверточные нейронные сети[7] (CNN) для обработки изображений и рекуррентные нейронные сети[8] (RNN) для обработки последовательностей.
2010-е
Этот период был насыщен значительными достижениями в области глубокого обучения и искусственного интеллекта. В 2012 году на ImageNet, престижном соревновании по распознаванию изображений, сверточная нейронная сеть AlexNet, разработанная Алексеем Крижевским, Ильей Суцкевером и Джеффри Хинтоном, показала революционные результаты на соревновании ImageNet. В этом соревновании участники стремились создать алгоритм, который мог бы самостоятельно классифицировать изображения из набора данных ImageNet, состоящего из миллионов размеченных изображений, принадлежащих к тысячам категорий. AlexNet значительно превзошла все предыдущие алгоритмы по распознаванию изображений, показав ошибку в топ-5 (вероятность правильного предсказания одного из пяти верхних классов) всего около 15,3 %, что было на 10,8 % лучше, чем у предыдущего лучшего участника соревнования. Эти результаты стали сенсацией и подтвердили огромный потенциал глубокого обучения и сверточных нейронных сетей в задачах компьютерного зрения.
Середина 2010-х
В это время компания Google DeepMind представила свою систему AlphaGo, основанную на глубоком обучении и методах обучения с подкреплением (обучение методом проб и ошибок). В 2016 году AlphaGo победила мирового чемпиона по игре Го, Ли Седоля, это стало важным прорывом в области искусственного интеллекта.
Середина и конец 2010-х
В это время стали появляться более продвинутые языковые модели на основе нейронных сетей, такие как Word2Vec, GloVe и ELMo, которые применялись для обработки естественного языка. В 2018 году OpenAI представила модель GPT (Generative Pre-trained Transformer), которая считается одним из прорывных достижений в области языковых моделей.