Стадия 3. А/B-тестирование и вилка решений Суть А/B-тестирования лучше пояснить на примере.
Допустим, у вас есть интернет-магазин. Вы хотите добавить ему пару новых функций – например, красивую кнопку оформления заказа и 3D-обзор товара. Для удобства назовем их «Функция 1» и «Функция 2» соответственно. Текущее состояние магазина без новых функций будет служить контрольным показателем. Итак, вы создаете несколько версий магазина: только с «Функцией 1», только с «Функцией 2» и с обеими «Функциями» сразу, а потом демонстрируете новые версии сайта фокус-группам пользователей.
Ваша цель – понять, как новые изменения и их комбинации повлияли на работу магазина по сравнению с контрольным показателем. Возможно, смена цвета кнопки с синего на красный приведет к оттоку пользователей. Или, наоборот, заказов станет больше. Подобные тесты позволяют сформировать набор данных, на основе которых и принимается решение: добавлять новую функцию в сервис или нет.
На данном этапе возникает так называемая вилка решений. Перед началом работ вы должны однозначно определиться с критериями принятия решения. Иными словами, организаторы тестирования «на берегу» договариваются: если новая функция приведет к увеличению интересующего показателя на X % – значит, работы по внедрению продолжаются. А если функция понизит интересующую метрику на Y% – значит, от функции отказываемся и придумываем что-то еще.
Стадия 4. Запуск в промышленную эксплуатацию Если А/B-тестирование показало приемлемые результаты, то новая функция внедряется в полном объеме.
Стадия 5. Сопровождение На последнем этапе анализируется востребованность новых функций со стороны пользователя, работа обновленного сервиса, подводятся итоги проведенной работы. Кроме того, аналитик в течение определенного времени сопровождает обновленный сервис во избежание непредвиденных инцидентов.
Интересный факт
В 2010 году в компании Google разработчики провели свыше 8000 A/B-тестов, касающихся исключительно функции поиска[9].
АНАЛИТИКА ДАННЫХ
Аналитик данных решает следующие задачи:
• построение прогнозных моделей на основе больших массивов данных – например, прогноз оттока клиентов на основе анализа данных об их активности с момента появления в клиентской базе;
• разработка механизмов персональных рекомендаций на основе анализа больших объемов данных;