Как можно оценить объяснимость и интерпретируемость систем ИИ таким образом, чтобы это было психологически правдоподобно? Как мы могли бы разработать системы, удовлетворяющие этим психологическим определениям? Методы машинного обучения отражают противоречие между двумя различными подходами к оценке качества математических моделей и «рациональным» поведением в более широком смысле.
Первый подход, который Хаммонд назвал «когерентностью», подчеркивает процесс, с помощью которого достигается результат. Согласно этому подходу, результат оценивается в зависимости от того, получен ли он путем следования логическим правилам, которые исходят из общепринятых аксиом. Ранние системы ИИ, особенно системы, основанные на правилах, демонстрировали высокую степень согласованности и, как следствие, объяснимости в соответствии с психологическими определениями в этой статье. К сильным сторонам когерентного подхода можно отнести его гарантии логической полноты – если аксиомы верны, а правила соблюдаются безошибочно, то выводы обязательно должны быть правильными. Тем не менее, эти системы подвергались критике за их хрупкость в процессе принятия решений в реальном мире. На практике они могут потерпеть неудачу, если аксиомы неверны (но, по крайней мере, можно определить, как был сделан этот вывод). Например, классическая экспертная система обычно строится путем получения правил от экспертов; тем не менее, эти правила могут применяться «бездумно» (например, без соответствующих базовых знаний, таких как о времени, анатомии человека или важных исключениях, как в случае медицинской экспертной системы, основанной на правилах). В той мере, в какой эти правила верны, рекомендации системы должны быть правильными; тем не менее, процесс установления этих правил может привести к возникновению источников ошибок, которые могут сделать результаты недействительными, например, когда пациенты не раскрывают всю релевантную информацию алгоритму, поскольку они не знают, что алгоритм требует этого, или потому что они не доверяют алгоритму в использовании этой информации надлежащим образом. Действительно, традиционные системы ИИ, основанные на правилах, отличаются строгим соблюдением стенографических правил, что иногда приводит к неправильным выводам. Попытки чрезмерного упрощения моделей машинного обучения, основанные на чисто алгоритмических соображениях, в некоторых обстоятельствах могут привести к вредным предубеждениям.