Например, исходный обучающий набор данных может содержать записи о почасовом выпадении осадков на ближайшем пляже. Эта обученная модель затем используется для создания прогнозов на основе новых оценочных данных, таких как распределение вероятностей по количеству дождя, которое посетитель пляжа может ожидать в определенный час. Эти прогнозы и другие выходные данные модели затем предоставляются человеку в качестве стимула. Человек кодирует стимул в множество ментальных представлений. Дословное представление представляет собой подробное символическое представление стимула, такое как графическое представление распределения вероятностей по количеству осадков в час. Параллельно с этим люди используют свои базовые знания для кодирования осмысленной интерпретации сути стимула. Например, простой категоричной сутью может быть различие между «практически нет вероятности дождя» и «некоторая вероятность дождя». Кроме того, люди с соответствующими знаниями могут быть в состоянии изучить форму модели, чтобы определить, как она пришла к своему выводу. Например, метеоролог, обладающий знаниями в предметной области, может изучить коэффициенты уравнений временных рядов модели и распознать их как указание на приближающийся холодный фронт. Затем человек принимает решение (например, идти на пляж или нет) на основе комбинации этих представлений. Например, человек, не обладающий техническими знаниями, может посмотреть на стимул и определить, что вероятность дождя практически равна нулю, что заставит его пойти на пляж (поскольку пляж без дождя – это весело, а пляж с небольшим дождем – это не весело, а веселиться – это хорошо). С другой стороны, человек, обладающий знаниями в области метеорологии и науки о данных, может распознать признаки приближающегося холодного фронта и понять, что дождь не является пренебрежимо малой возможностью, что заставит его выбрать другой вид деятельности.
Объяснение результата модели – это описание того, как был получен результат модели. Таким образом, объяснения стремятся описать процесс или правила, которые были применены для достижения результата, не зависящего от контекста. Как правило, объяснения бывают подробными, техническими и могут быть причинно-следственными. Например, объяснение может быть процедурой, описывающей, как модель достигла своего результата. Таким образом, объяснения обычно больше подходят для технических специалистов, которые могут полагаться на обширные базовые знания для выполнения задач отладки.