Скорее всего, после прочтения книги у вас появится вопрос: «Все же так просто! Наверное, психометрическую аналитику (не путайте ее с учебной аналитикой) применяют во всем EdTech, во всех онлайн-курсах?» Но нужно знать условия работы бизнеса, чтобы понять: нет, не просто, далеко не во всех. Психометрика – все еще экзотическая наука в России. Цифровые образовательные продукты создаются быстро («раз, два – в продакшен»). То, что разношерстные команды Яндекс Практикума – продакты, методисты, разработчики – заговорили на общем языке психометрической аналитики, кажется мне волшебством. А чтобы придумать подходящие формату продукта метрики (а ключевые метрики в этой книге – посильность, супербалл, дельта – далеко не общепринятые, Дима их сам придумал, проверил их полезность, связал с бизнесовыми метриками), нужны креативность, смелость и приверженность доказательному подходу. Не просто ввести метрику в систему, а доказать, что она полезна для студентов, для продукта, для развития бизнеса. Не обманывайтесь кажущейся простотой текста.
Как научный редактор я докапывалась до каждой главы, требуя обоснований, но как первый читатель хотела больше практической информации. Поэтому иногда подавала автору противоречивые сигналы. Например, просила: «Дима, приведи, пожалуйста, референсные значения для этой метрики – пусть из твоей практики, но чтобы у читателя был ориентир. Но только уточни там, что это не бронзой на граните высечено, пусть понимают, что в их продукте оптимальные значения метрики могут быть не такими, как в твоей практике». И Дима очень честно все описывал и предупреждал. Я слегка в шоке, что Яндекс Практикум так открыто делится полезностями. Но кто мы такие, чтобы не поддержать принципы открытой науки?;)
Психометрика – чудесная наука, она за справедливость и пользу оценивания. В ней много спорного и трудного, но с этой книгой ваши первые шаги в психометрической аналитике для EdTech точно будут уверенными.
Инна Антипкина, доцент, старший научный сотрудник Центра психометрики и измерений в образовании Института образования НИУ ВШЭ, руководитель проектно-учебной лаборатории моделирования и оценивания компетенций в высшем образовании