Знания в нейронной сети – это идеальные модели, классифицированные в соответствии с системой конкретной предметной области (таксономия), а также отношения между этими моделями. Картинка, которая возникает у вас в голове, когда вы слышите слово «стул», и есть пример идеальной модели. То, благодаря чему вы отличаете стул от табурета, является примером знания вашего мозга об отношениях между идеальными моделями.
Нейронная сеть «обучается», получая новые примеры и сведения о ценности в иерархии внутри определенных категорий. Например, вы можете представить нейронной сети изображение десяти стульев и сказать ей, что это стулья, показать изображение десяти табуретов и сказать ей, что это табуреты, изображение десяти столов и сказать, что это столы. Данный процесс дает нейронной сети возможность выстроить внутренние модели того, что показывают ваши образцы. После тренировки сеть получает внутренние модели, которые представляют свое знание различий между стульями, табуретами и столами.
Таксономия – это система категоризации. Если вы разрабатываете нейронную сеть, которая распознает текст, среди категорий должны быть буквы сами по себе, а также наборы прописных и строчных букв. Один пример следует категоризировать как букву «А», а также отдельно как прописную букву. Другой пример следует категоризировать как букву «с» и строчную букву. Совершенная нейронная сеть обладает достаточными познаниями по каждой категории и способна определять, соответствует ли новый пример определенной категории. Знания, которые необходимы для определения принадлежности того или иного символа данной категории, называются моделью.
Так же, как вы обычно не представляете какой-то особенный стул, встречая слово «стул», модели, которые выстраивает нейронная сеть, не изображаются в виде особых букв, которые попадаются вам в написанном тексте. Вместо этого они представляют собой идеализированную форму каждой буквы. Модель английской буквы S – это идеализированная криволинейная ее форма; она подобна тому, как вы представляете букву S в своем воображении. Чтобы нейронная сеть распознавала букву S, написанную разными шрифтами, имеющаяся модель должна быть достаточно комплексной, чтобы нейросеть могла распознать S среди других букв. Модель не может быть слишком специфической, иначе она не различит