▶ Для начала создадим бесконечную последовательность букв, которые могут следовать друг за другом с ненулевой вероятностью.
▶ Добавим пробелы, ведь длина слов в языке тоже определяется статистикой. Скорее всего, на этом этапе мы не увидим среди результатов ни одного реального слова.
▶ Учтем, что некоторые буквы не могут следовать друг за другом, а некоторые, наоборот, тесно связаны. Например, после гласных не может быть Ъ, а после глухого согласного не может быть звонкого. Поэтому попробуем генерировать слово, добавляя не по одной букве, а сразу по две.
▶ Можно двигаться дальше и, работая с огромным объемом текста, определять наиболее вероятные многобуквенные сочетания. На этом этапе мы уже начнем получать реальные слова.
▶ А дальше, анализируя отдельные слова, мы можем оценить, насколько часто они встречаются в речи и как взаимодействуют с другими словами. Так мы сможем генерировать словосочетания, затем – предложения, а затем и целые тексты.
Внезапное препятствие и большая языковая модель
Реализации этого алгоритма очень мешает… недостаток текстов! При объеме словаря в несколько десятков тысяч единиц число возможных комбинаций из трех слов составляет 60 трлн, а если мы попробуем предсказать комбинацию из 20 слов, то число вариантов превысит количество элементарных частиц в космосе. Человечество еще не накопило такого количества текстов и никогда не накопит, потому что большинство из них не имеет смысла.
Выход только один – создать некую модель, которая сможет оценивать вероятности чисто гипотетически, не сталкиваясь с ними в реальных текстах. Для ChatGPT основой служит большая языковая модель (БЯМ).
Это корова или овца? Или автобус?
Прежде чем более подробно говорить о языке, стоит отвлечься и рассмотреть другую проблему – распознавание образов.
В интернете мы часто сталкиваемся с капчей[2] (помните картинки, где надо выбрать мотоциклы, светофоры, автобусы?) – человеческий интеллект отличается от машинного именно способностью уловить в искаженном размытом образе знакомые черты.
Математически обоснованный выбор. Как распознает образ машина? Например, образ некоторой цифры? Машина берет образец (идеально написанную цифру 5) и сравнивает с ним имеющееся изображение точка за точкой. Если определенное, значимое количество пикселей не совпадает – машинный интеллект делает вывод, что не совпадают и образы целиком. Если взять за переменную цвет каждого пикселя (черный или белый), то будет существовать некая функция всех этих переменных. Расчет этой функции по имеющемуся массиву данных позволит точно определить, совпадает изображение с образцом или нет.