Ранние исследования искусственного интеллекта были сосредоточены на изучении обучающихся машин, которые использовали базу знаний для изменения своего поведения. В 1970 году Марвин Мински опубликовал концептуальный документ о машинах LISP. В 1973 году Тьюринг предложил похожий язык, названный ML, который, в отличие от LISP, распознал подмножество конечных и формальных множеств для включения.
В последующие десятилетия исследователи смогли усовершенствовать концепции обработки естественного языка и представления знаний. Этот прогресс привел к развитию повсеместных технологий обработки естественного языка и машинного перевода, используемых сегодня.
В 1978 году Эндрю Нг и Эндрю Хси написали влиятельную обзорную статью в журнале «Nature», содержащую более 2000 статей по ИИ и роботизированным системам. В документе были рассмотрены многие аспекты этой области, такие как моделирование, обучение с подкреплением, деревья решений и социальные сети.
После этого привлекать исследователей к обработке естественного языка становилось все труднее, а новые достижения в области робототехники и цифрового зондирования превзошли современное состояние обработки естественного языка.
В начале 2000-х большое внимание уделялось внедрению машинного обучения. Алгоритмы обучения – это математические системы, которые обучаются в процессе наблюдений.
В 1960-х Бендиксон и Руэль начали применять концепции обучающих машин в образовании и за его пределами. Их нововведения вдохновили исследователей на дальнейшее изучение этой области, и в 1990-х годах в этой области было опубликовано множество исследовательских работ.
В статье Сумита Чинтала 2002 года «Обучение с помощью поддельных данных» обсуждается система обратной связи, в которой искусственный интеллект обучается, экспериментируя с данными, которые он получает в качестве входных данных.
В 2006 году Юдофски, Штайн и Такер опубликовали статью о глубоком обучении, в которой предложили архитектуру масштабируемых глубоких нейронных сетей.
В 2007 году Рохит описал «гиперпараметры». Термин «гиперпараметр» используется для описания математической формулы, которая используется в процессе компьютерного обучения. Хотя можно разработать системы с десятками, сотнями или тысячами гиперпараметров, количество параметров необходимо тщательно контролировать, поскольку перегрузка системы слишком большим количеством гиперпараметров может привести к снижению производительности.