В реальной жизни количество параметров, отслеживаемых/собираемых в рамках «больших данных», может достигать нескольких тысяч. Эти данные не ограничиваются стенами предприятия или даже границами города. К примеру, один из крупнейших банков нашей страны при выдаче ипотечного кредита использует сотни параметров. В том числе такую экзотику как «количество занятых одноместных номеров в трехзвездочных гостиницах в радиусе 500 метров от приобретаемой квартиры». Все значения этих параметров непрерывно отслеживаются и обновляются в автоматическом режиме. Для этого создаются специальные программы, которые, словно конвейер, неустанно доставляют информацию в озеро данных компании. При этом старые сведения не удаляются. К ним лишь добавляются новые. Из-за этого хранилища могут разрастаться до невероятных размеров (отсюда и название «большие данные»). Сбором, обработкой, сжатием и упорядочиванием данных занимаются инженеры данных (Data Engineer). Эти же специалисты конвертируют информацию в таблицы для дальнейшего ее анализа и построения графиков на ее основе.
После того как данные собраны и преобразованы в подходящий для анализа вид, в дело вступают аналитики данных (Data Analitycs). Они представляют информацию в виде наглядных графиков, в которых нуждается бизнес. Также аналитики ищут в данных полезные связи, новые способы их демонстрации, что позволило бы руководству лучше оценивать текущую ситуацию. Цель работы этих специалистов – найти пути получения прибыли из собранной информации. Аналитики думают только о деньгах. Они не умеют настраивать хранилища, управлять озером данных или круто программировать, поэтому инженеры по данным должны предоставлять им хорошо подготовленную информацию в удобной форме. Но именно аналитики знают, как из этих данных получить дополнительную маржу, как превратить данные в деньги.
Собранные большие данные позволяют буквально предсказывать будущее в результате учета значимых связей и зависимостей между отдельными компонентами данных, выявленных программными алгоритмами. Созданием инструментов для подобных прогнозов занимаются специалисты по машинному обучению (Machine Learning Engineer). Они могут заставить компьютер проанализировать тысячи собранных параметров с миллионами значений, чтобы предсказать практически любой экономический показатель. Имея достаточно данных и используя машинное обучение, профессионалы могут ответить на любые вопросы, касающиеся оптимизации продукта и максимизации прибыли.