– не адекватная предварительная обработка данных;
– не адекватная проверка модели;
– неоправданная экстраполяция (применение к данным, которые имеют слабое отношение к обучающему набору);
– наиболее важное: переобучение модели на обучающем наборе данных.
Предсказательное моделирование является одним из многих наименований, которые относятся к процессу выявления отношений внутри данных для предсказания желаемого результата. Машинное обучение, искусственный интеллект, распознавание образов, интеллектуальный анализ данных, предсказательная аналитика – много научных областей сделало вклад, что привело к синонимии разных понятий.
Предсказательное моделирование – это процесс, с помощью которого модель создает, выбирает или пытается сделать лучшее предсказание вероятности результата.
Набор данных – это общий и расплывчатый термин.
Набор данных на внешнем носителе – это файл данных по тексту книги. По расширению файла можно судить о кодировке и, частично, о структуре файла. В пакете Rattle допустимы разные файлы. Наибольший интерес для нас будут представлять файлы со следующими расширениями:
– .txt – обычный текстовый файл;
– .csv – текстовый файл Excel;
– .RData – файл R, в котором хранится рабочая область.
Набор данных в памяти – это некоторая совокупность данных, имеющая структуру. В терминах R – это вектор, матрица, фрейм данных или совокупность этих данных.
Матрица (редко) и фрейм данных в Rattle представлены таблицей, имеющей следующий вид:
Рис.1.1. Фрейм данных, представленный в Rattle
Термины выборка (sample), наблюдение (observation), пример, экземпляр (instance) относится к отдельной строке данных. Термин sample также может относить к подмножеству наблюдений, которые объединены, например целью последующего использования – обучающая выборка или обучающий набор данных. Значение термина выборка будет понятно из контекста употребления термина.
Обучающий набор содержит данные, которые использовались для обучения модели, в то время как тестовый и проверочный наборы используются исключительно для оценки результативности модели.
Предикторы, независимые переменные, атрибуты или дескрипторы являются данными, которые используются в качестве входных переменных в уравнении предсказания. На рис.1.1 показаны три предиктора, которые играют роль в модели «входных переменных».