2.1 Ml и интеллектуальный анализ данных. Пересечение Ml и DM
Интеллектуальный анализ данных
Интеллектуальный анализ данных (Data Mining – DM) рассматривается в качестве процесса извлечения и обнаружения закономерностей из солидных массивов данных с использованием методов на стыке статистики, машинного обучения и систем баз данных. DM является междисциплинарной областью информатики и статистики, общая цель которой состоит в том, чтобы добиваться извлечения информации (с помощью интеллектуальных методов) из набора данных и преобразования информации в понятную для дальнейшего использования структуру.
DM – это этап анализа « обнаружения знаний в базах данных», процесс, или KDD (Knowledge Discovery Data).
Примечание:
Обнаружение знаний из данных (KDD) является последовательным по характеру процессом извлечения закономерностей либо знаний из огромного массива данных. Обычно люди интересуются данными, отличающимися потенциальной полезностью, нетривиальностью, неизвестностью.
KDD определяется как метод поиска, преобразования и уточнения значимых данных и шаблонов из необработанной базы данных для использования в разных приложениях либо областях.
Помимо анализа необработанных данных, в DM также включаются аспекты управления данными и базами данных, предварительной обработки данных, соображений моделей и выводов, метрик интересности, соображений сложности, постобработки обнаруженных структур, визуализации, онлайн-обновлений.
Пересечение Ml и DM
Машинным обучением и DM нередко применяются одни и те же методы и они в значительной мере пересекаются. В то же время Ml фокусируется на прогнозировании на основе известных свойств, полученных из обучающих данных, а DM – на обнаружении ранее неизвестных свойств в данных (это этап анализа обнаружения знаний в базах данных). В DM практикуется использование множества Ml- методов, но с иными целями; с другой стороны, Ml использует DM- методы как «обучение без учителя». либо в качестве этапа предварительной обработки для повышения уровня точности обучения.