При принятии решения люди должны опираться на числовые значения, чтобы определить, какая категория в бинарной паре лучше. Здесь некоторая точность – это хорошо, а отсутствие точности – это плохо. Эти двоичные валентности хранятся в долговременной памяти и составляют часть того, что человек привносит в процесс оценки.
Несколько вариантов могут иметь одну и ту же суть. Например, все модели классификаторов, кроме kNN, имеют «некоторую» точность. В данном случае категориальные классификации не делают значимых различий и поэтому не могут помочь в принятии решения. Чтобы различить эти классификаторы, можно использовать более точный уровень ментального представления. Классификатор логистической регрессии имеет «большую точность», чем другие классификаторы. "Больше" против "меньше" – это фактически порядковый номер. Однако эта суть полезна при выборе модели только при наличии одной метрики оценки. На практике модели машинного обучения можно оценивать с помощью нескольких метрик. Например, наивная байесовская модель имеет более высокую полноту, но меньшую точность, тогда как модель логистической регрессии имеет более высокую точность, но меньшую полноту. Таким образом, эти модели не могут быть ранжированы по этим измерениям, используя только порядковый номер.
Как правило, практикующие специалисты пытаются свести эти множественные метрики к одной метрике для сравнения. Процесс получения этих составных, точных метрик требует механического применения математических правил. Например, можно полагаться на составную метрику, такую как F1-оценка (т.е. гармоническое среднее точности и запоминаемости). В этом примере классификаторы логистической регрессии и наивного Байеса имеют одинаковые значения F1, что означает, что люди (или алгоритмы), полагающиеся на это дословное правило, будут безразличны между ними. Напротив, Метод опорных векторов имеет самый высокий балл F1 из трех моделей.
Означает ли это, что метод опорных векторов является лучшей моделью? Несмотря на то, что люди кодируют несколько уровней представления параллельно, мы предпочитаем принимать решения на основе имеющегося опыта, когда это возможно. Эти параметры не являются произвольными, а соответствуют значимым различиям. В случае моделей машинного обучения мы используем эти модели для достижения цели. В приведенном выше примере классификатор использовался для выявления вредоносного поведения в Интернете. В контексте этой задачи имеет смысл отдавать предпочтение точности, а не запоминанию и аккуратности, поскольку последствия ложноотрицательного результата значительно хуже, чем последствия ложноположительного. Новичок может слепо применить это правило и таким образом выбрать метод опорных векторов. Однако эксперт-человек не обязательно будет это делать. Учтите, что метод опорных векторов имеет точность 100% – «идеальный результат». Хотя кто-то, полагающийся на дословное представление, например, неопытный студент, может решить, что это наилучший возможный показатель точности, опытный специалист по моделированию поймет, что такое высокое значение может быть индикатором проблемы в реализации алгоритма. Например, можно достичь идеальной точности, если правильно классифицировать лишь очень небольшое число случаев. Соответствующая суть была бы "слишком хороша, чтобы быть правдой". Как описано выше, классификатор kNN может быть исключен, потому что он не имеет точности, которая, независимо от точности, является проблематичной. Таким образом, эксперт-человек может полагаться на порядковый номер для выбора модели с «лучшей» точностью – модели логистической регрессии – потому что контекстуальные подсказки указывают на то, что две другие модели уступают функциональному назначению, т. е. цели задачи машинного обучения. Исследования, основанные на теории нечетких следов, показали, что модели, которые подчеркивают суть, например, отображают выходные данные таким образом, чтобы пользователи могли сделать значимые выводы, вызывают большее доверие, уверенность и понимание, в этом случае ИИ будто потакает своему реальному собеседнику. Это подразумевает четкую цель проектирования для проектировщиков систем машинного обучения, которых интересует интерпретируемость – вывод системы должен передавать суть.