Зачем же определять интерпретируемость и объяснимость? Мы сосредоточились на этих терминах из-за их актуального значения для внедрения алгоритмов машинного обучения, на что указывает несколько прагматических моментов, требующих алгоритмического вывода для предоставления объяснений или интерпретаций пользователям, которые могут значительно отличаться друг от друга с точки зрения их целей, образования или личностных качеств. Например, в современных экономических реалиях физические и юридические лица, подающие заявки на получение кредита, должны получать уведомления о причинах, по которым кредитор принял неблагоприятные решения по заявке или по существующему кредиту. Активно внедряются системы помощи потребителям и предприятиям путем обеспечения прозрачности процесса вычисления кредитного рейтинга и защиты от потенциальной кредитной дискриминации. Как следствие, возникают требования к кредиторам объяснить причины принятия неблагоприятных мер. Поэтому кредитор должен раскрыть основные причины отклонения заявки или принятия других неблагоприятных мер и точно описывать факторы, которые фактически учитываются или оцениваются кредитором.
Кроме того, желательно, чтобы системы искусственного интеллекта предоставляли людям, о которых собираются данные, право получить разъяснения по поводу решения, принятого после такой оценки, и оспорить это решение.
Параллельно с попытками решить социальные проблемы, крупные международные инвестиционные кампании попытались определить требования к проектированию, которые инженеры и специалисты по информатике могли бы принять, чтобы определить, являются ли их системы интерпретируемыми или объяснимыми. Например, Доши-Велес и Ким определяют интерпретируемость модели как систему машинного обучения, обладающую «способностью объяснять или представлять результат в понятных для человека терминах». Аналогичным образом, Сингх определяет объяснение с помощью ML-модели как «набор визуальных и/или интерактивных артефактов, которые предоставляют пользователю достаточное описание поведения модели для точного выполнения таких задач, как оценка, доверие, прогнозирование или улучшение модели». Гилпин с соавторами утверждают, что хорошее объяснение возникает, когда разработчики моделей или потребители «больше не могут спрашивать почему» в отношении некоторого поведения модели машинного обучения. Наконец, Рудин определяет интерпретируемую модель машинного обучения как модель, которая «ограничена в своей форме таким образом, что она либо полезна для кого-то, либо подчиняется структурным знаниям предметной области, таким как монотонность, причинность, структурные (генеративные) ограничения, аддитивность или физические ограничения, которые проистекают из знаний предметной области». В отличие от этого, она определяет объяснимую модель машинного обучения как «вторую (постфактумную) модель, которая создается для объяснения первой модели черного ящика».