В отличие от этого, объяснение результатов работы того же алгоритма будет начинаться с замечания о том, что заявителю было отказано, а затем пытаться ответить на вопрос о том, как было принято такое решение. Например, в пояснении может быть указано, что алгоритм был обучен с использованием классификатора логистической регрессии с определенными значениями коэффициентов. Учитывая точку данных заявителя, можно затем вставить значения в уравнение логистической регрессии, сгенерировать вероятность успеха модели для заявителя, а затем наблюдать, что она ниже порога принятия решения. Это объяснение не обязательно подчеркивает конкретную роль истории аренды, но человек-аналитик, имеющий доступ к этому уравнению и обладающий опытом для его интерпретации, может заметить, что наибольшим предельным вкладом в решение алгоритма является история аренды. Точно так же человек, которого попросят объяснить причинно-следственную причину, может дать причинно-следственное объяснение («Ваша заявка была отклонена, потому что у вас нет истории аренды. Люди без истории аренды подвергаются более высокому риску, потому что у них нет опыта своевременной оплаты аренды, и потому что у нас нет никаких доказательств их ответственности. Как правило, мы предпочитаем сдавать в аренду людям с достоверной историей платежей»). Однако, как мы обсудим ниже, люди, и особенно эксперты в предметной области, регулярно нарушают такие причинно-следственные правила при вынесении суждений. Возможно, это связано с тем, что они способны распознавать необходимые исключения с помощью образованной интуиции (однако те же самые процессы могут быть источником систематической предвзятости, если лежащая в ее основе интуиция необразованна или неприменима по иным причинам).
Другой наглядный пример: медицинский диагноз. Как и приложения для аренды, медицинская диагностика является областью, в которой высказываются опасения по поводу алгоритмической дискриминации, что требует прозрачности и, следовательно, интерпретируемого ИИ. Рассмотрим систему искусственного интеллекта, предназначенную для выработки рекомендаций по назначению антибиотиков при инфекциях верхних дыхательных путей. Для простоты мы снова предположим, что эта модель реализована с помощью классификатора логистической регрессии с двумя классами, соответствующими рекомендациям по назначению антибиотиков и против них. Наконец, с учетом данных, передаваемых в систему, предположим, что модель определила, что вероятность того, что у пациента есть бактериальное заболевание, составляет 5%-10%. Затем система предоставит врачу, выписывающему лекарство, стимул – рекомендацию не назначать лекарство.