Наш опыт подсказывает, что объяснимость и интерпретируемость должны быть отдельными требованиями для систем машинного обучения, причем первые в первую очередь представляют ценность для разработчиков, которые стремятся отлаживать системы или иным образом улучшать их дизайн, а вторые более полезны для регулирующих органов, политиков и обычных пользователей. Однако эта дихотомия не является абсолютной – индивидуальные различия могут быть связаны с зависимостью от одного представления системы в большей степени, чем от другого. Для разработчиков объяснение может быть очень похоже на интерпретацию – подобно тому, как люди с нумерацией принимают решения, основанные на дословных вычислениях, – однако, если разработчикам не хватает опыта в предметной области, они могут быть не в состоянии контекстуализировать свои интерпретации в терминах, значимых для конечных пользователей. Точно так же конечные пользователи, которым не хватает опыта разработчиков, могут быть не в состоянии понять, как система пришла к своему выводу (но они также могут не захотеть этого делать).
История современной инженерии показывает, что системы могут быть спроектированы таким образом, чтобы облегчить как объяснимость, так и интерпретируемость, и, действительно, примеры этого есть на протяжении всей недавней истории, начиная от разрешений на лекарства и заканчивая автомобильным сектором. Несмотря на то, что значительные усилия были направлены на разработку автоматизированных подходов к созданию объяснений алгоритмов ИИ, сравнительно мало внимания уделялось интерпретируемости. Поскольку интерпретации у разных людей различаются, необходимы дополнительные исследования, чтобы определить, как лучше всего связать выходные данные модели с конкретными gist, чтобы пользователи могли надлежащим образом контекстуализировать эти выходные данные. Вопрос о том, в какой степени этот процесс может быть полностью автоматизирован или потребует курирования экспертами в предметной области, остается открытым.
Приведенное выше обсуждение указывает на то, что интерпретируемые алгоритмы – это алгоритмы, которые контекстуализируют данные, помещая их в контекст структурированных фоновых знаний, представляя их в простой форме, которая фиксирует существенные, проницательные различия, а затем обосновывает соответствующий вывод относительно значений, полученных от пользователей-людей. Такие представления контекстуализируют выходные данные модели и придают смысл пользователю в терминах значений, хранящихся в долговременной памяти. Как правило, эти ценности (или подобные конструкции, генерирующие предпочтения, такие как цели) не могут быть получены непосредственно из данных, основанных на механических, хрупких, дословных ассоциациях. Таким образом, методы упрощения сложных моделей, вероятно, будут иметь ту же хрупкость. В отличие от них, представления сути просты, но в то же время гибки и проницательны; они задействуют контекстуальные элементы, такие как цели и ценности, которые явно не представлены в данных. Таким образом, будущая работа может быть продуктивно сосредоточена на выявлении этих основных представлений от экспертов в форме сопоставлений структурированных фоновых знаний со значимыми, но простыми категориями, связанными с целями, ценностями, принципами или другими предпочтениями. Предыдущие «экспертные системы» не имели возможности масштабирования именно из-за трудностей с выявлением этих существенных различий. Чтобы выйти из этого тупика, обсуждение в этой статье подчеркивает необходимость учета нескольких уровней ментальной репрезентации при создании интерпретируемых выходных данных ИИ. Короче говоря, вместо того, чтобы ассимилировать человеческое познание с машинным обучением, мы могли бы извлечь выгоду из разработки моделей машинного обучения, которые лучше отражают эмпирические представления о человеческом познании. Между дословным подходом, основанным на данных, и негибким нисходящим схематическим подходом находится подход, в котором пользователи-люди участвуют в процессе контекстуализации выходных данных модели, которые затем используются для выбора между существующими структурами фоновых знаний и их уточнения. Есть некоторые предварительные свидетельства того, что эти «коммуникативные» подходы, в которых пользователи взаимодействуют с системами ИИ и курируют их результаты, могут оказаться многообещающими. Кроме того, потребности пользователей варьируются в зависимости от индивидуальных различий, например, в метапознании и обучении. Поэтому будущая работа должна быть сосредоточена на характеристике этих факторов в сообществах пользователей. Данный обзор обеспечивает теоретическую основу для такого подхода и дает четкие указания для будущей работы: такие подходы должны доводить суть данных до пользователя.