Принятие решений человеком демонстрирует различную степень согласованности и соответствия. В частности, представления экспертов о сути, как правило, соответствуют лучшим результатам в реальном мире, демонстрируя соответствие; тем не менее, эксперты могут нарушить когерентность, т.е. они могут дать объяснение действию в определенном контексте, но это объяснение не обязательно может распространяться на все контексты, что примерно аналогично линейной оценке нелинейной модели. В отличие от этих линейных оценок, которые обеспечивают объяснительную силу в узком диапазоне параметров, у экспертов можно спрашивать об их обосновании. Приведенное выше обсуждение подчеркивает, что высокая корреспонденция с низкой объяснимостью не только не является уникальной особенностью моделей машинного обучения, но и может быть характерной чертой некоторых видов человеческого опыта. На самом деле, существует значительный объем литературы по инженерному менеджменту, в которой обсуждается «неявная» природа человеческого опыта. Другими словами, как и в случае с самыми сложными моделями, эксперты-люди могут не осознавать, как они получили определенный результат. Тем не менее, они часто могут описать, почему они сделали то, что сделали – например, опытные теннисисты с большей вероятностью оправдывали свои действия относительно целей игры, в то время как новички сосредоточили более осознанное внимание на механике выполнения конкретных маневров. Таким образом, решения экспертов демонстрируют высокую степень эмпирического соответствия, несмотря на подверженность «смещениям» в предсказуемых обстоятельствах. Кроме того, эксперты в предметной области, как правило, полагаются на результаты модели, которые интерпретируют, а не объясняют релевантные результаты, потребляют и предпочитают их использовать.
Это обсуждение предполагает, что дизайнеры могут повысить интерпретируемость путем создания «моделей серого ящика», которые могут предоставить обоснование для данного решения в отношении набора функциональных требований. Благая цель согласуется с аналогичными проблемами при попытке интегрировать крупномасштабные системы из нескольких различных сложных областей знаний в общий артефакт, который будет использоваться потребителями, включая политиков, с различными уровнями технической сложности.