Пояснение к этой рекомендации будет относиться к реализации модели. Например, система может перечислить коэффициенты модели логистической регрессии и значения всех переменных модели (есть ли у пациента боль в горле, боль при глотании, лихорадка, красные и опухшие миндалины с белыми пятнами или прожилками гноя, крошечные красные пятна на нёбе, увеличенные лимфатические узлы в передней части шеи, кашель, насморк, охриплость голоса или конъюнктивит). Учитывая эти коэффициенты, система могла бы далее объяснить, что, когда мы умножаем коэффициенты на значения переменных, а затем суммируем результат, совокупная вероятность того, что болезнь является бактериальной, составляет 5-10%, что указывает на то, что «нет ни дальнейших испытаний, ни антибиотиков». На этом объяснение заканчивается.
В отличие от этого, интерпретация рекомендации системы будет ссылаться на простые, категориальные представления относительного риска, а затем связывать их со значениями. Например, могут применяться следующие значения: когда пациент болен, выздоровление – это хорошо, в то время как болезнь остается плохим исходом. Кроме того, неприятные побочные эффекты плохи (они заставят пациента чувствовать себя хуже), и никакие побочные эффекты не являются хорошими. Наконец, ненужное назначение способствует устойчивости к антибиотикам, потенциально причиняя вред другим (плохо), в то время как отсутствие назначения не оказывает никакого влияния на других. Учитывая эти значения, система будет утверждать: 1) вероятность того, что антибиотики помогут, практически равна нулю; 2) антибиотики, в случае их назначения, могут привести к неприятным побочным эффектам; 3) использование антибиотиков, когда в них нет необходимости, может нанести вред другим, указывая на то, что «Никаких дальнейших испытаний и антибиотиков».
Несмотря на эти рекомендации, есть несколько причин, по которым опытный врач может назначить антибиотики в этих обстоятельствах. Например, эксперт может признать, что пациент особенно восприимчив к бактериальной инфекции, или просто сделать стратегический выбор, основанный на сути, что «лучше перестраховаться, чем потом сожалеть».
Хотя интерес к объяснимому искусственному интеллекту (ИИ) восходит к развитию экспертных систем в 1980-х годах, объяснимость в последнее время вновь стала желательным требованием для современных сложных систем ИИ/МО. В значительной степени это связано с распространением таких систем в обществе и из-за все более сложных и ресурсоемких алгоритмов, иногда обученных на терабайтах данных, которые развертываются для решения реальных проблем.