AUROC (площадь под кривой операционной характеристики получателя) – метрика качества модели для задач обнаружения аномалий и классификации, которая измеряет способность модели различать между классами и находить аномалии.
Mean Average Precision (mAP) – метрика качества модели для задач обнаружения объектов, которая измеряет среднюю точность распознавания объектов на изображениях.
Intersection over Union (IoU) – метрика качества модели для задач обнаружения объектов, которая измеряет степень перекрытия между прогнозируемыми и фактическими объектами на изображениях.
Overfitting (переобучение) – явление, когда модель слишком хорошо запоминает данные обучения и не может обобщать на новые данные.
Underfitting (недообучение) – явление, когда модель не может достичь достаточной точности на данных обучения и не может обобщать на новые данные.
Cross-validation (кросс-валидация) – метод оценки производительности модели путем разделения данных на несколько частей и обучения модели на одной части и тестирования на другой. Этот процесс повторяется несколько раз с разными разбиениями данных, чтобы усреднить оценку производительности модели.
Hyperparameters (гиперпараметры) – параметры модели машинного обучения, которые настраиваются перед обучением и влияют на ее производительность и способность обобщать на новые данные.
Bias (смещение) – ошибка модели, которая происходит из-за ее недостаточной сложности и невозможности захватить сложные зависимости в данных.
Variance (дисперсия) – ошибка модели, которая происходит из-за ее слишком большой сложности и способности переобучаться на данных обучения.
Regularization (регуляризация) – метод, используемый для уменьшения переобучения модели путем добавления штрафа за сложность модели.
Feature engineering (инженерия признаков) – процесс преобразования и выбора признаков для улучшения производительности модели и увеличения ее способности обобщать на новые данные.
Введение в метрики качества модели
Что такое метрики качества модели?
Метрики качества модели – это инструменты для оценки производительности модели машинного обучения. Они позволяют определить, насколько хорошо модель работает на конкретных данных и насколько она точна в решении задачи, для которой она была обучена.
В данной книге представлен далеко не полный список метрик, и существуют и другие метрики, которые могут быть использованы для оценки качества моделей. Выбор подходящей метрики зависит от типа задачи, особенностей данных и целей проекта. Метрики представленные в данной книге наиболее распространенные при анализе качества типовых моделей машинного обучения.