Как и подходы к принятию решений, благоприятствующие соответствию, «модели черного ящика» – это модели, внутренняя работа которых недоступна и, следовательно, непостижима для пользователей, потому что они делают акцент на точности прогнозирования, а не на объяснимости. Эти модели можно оценивать только по их прогностическим качествам, и нужно просто «верить», что они продолжат работать в реальном мире так же, как они работают на обучающих данных. Типичными примерами моделей черного ящика являются глубокие нейронные сети.
В рассуждениях Хаммонда подчеркивается, что нынешнее противоречие между объяснением и прогнозированием в машинном обучении и статистике на самом деле является давней особенностью научного метода, которая, тем не менее, может противоречить политическим и юридическим требованиям к принятию решений на основе данных. Действительно, по-видимому, существует распространенное мнение, что модели, обладающие высоким соответствием, скорее всего, будут иметь низкую когерентность, и наоборот. Тем не менее, приведенное выше обсуждение подчеркивает, что объяснения в основном связаны с предоставлением согласованных результатов, описывающих процесс, с помощью которого модель достигла заданного результата. В отличие от этого, интерпретации подчеркивают, как стимул (либо выходные данные модели, либо точка данных, либо набор данных, либо описание самой модели) контекстуализируется в более широком контексте мира и, таким образом, может быть оценен относительно критериев соответствия.
Проводя различие между интерпретацией и объяснением, мы предполагаем, что суть человеческих экспертов может рассматриваться как аналогичная «модели серого ящика», для которой полное механистическое объяснение (т.е. модель белого ящика) недоступно, но для которой также не требуется слепое доверие (т.е. модель черного ящика). Этот средний путь достигается за счет того, что эксперты сообщают суть своих процессов принятия решений, а не пытаются объяснить все детали своих структурированных ментальных моделей. В частности, эксперты могут объяснить, как то, что они делают, согласуется с ценностями пользователей в простых для понимания категорических терминах, не обязательно обладая способностью описывать точные механизмы во всех деталях. Мы предлагаем проектирование модели серого ящика в качестве цели для интерпретируемого ИИ.