Эль Калиуби ничего не знала об аутизме и начала исследования в этой области, поскольку надеялась найти подсказки. Когда она начала работу, директор Центра исследования аутизма, эксперт в области когнитивной нейробиологии Саймон Барон-Коэн сам работал над созданием видеокаталога выражений человеческого лица. Проект должен был помочь людям, страдающим расстройствами аутического спектра, распознавать выражения лица, поскольку неспособность читать человеческую мимику – широко распространенная проблема среди аутистов. Каждый видеоролик оценивала коллегия из двадцати специалистов. В результате в рамках проекта собрали свыше четырехсот одобренных видеороликов, которые эль Калиуби могла использовать для обучения своих программ. Алгоритмы машинного обучения обрабатывали все видеоролики, снабженные меткой отдельной эмоции – например, радости или смущения, – а затем находили общие черты в лицах, показанных во всех роликах. Программа знала, как выглядит то или иное выражение лица, и могла обучаться за счет дополнительных примеров и обратной связи.
Однажды настанет время, когда во все устройства будет встроен эмоциональный чип. Ваше устройство будет реагировать на ваши эмоции и приспосабливаться к ним.
В результате эль Калиуби разработала первый «протез» социальных навыков – очки с вмонтированной веб-камерой, которая выводила изображение на диодные дисплеи, обращенные к пользователю. Во время беседы устройство определяло выражение лица слушателя и предоставляло владельцу обратную связь в режиме реального времени. Светодиодный экран светился зеленым, желтым или красным цветом в зависимости от того, заинтересован собеседник в разговоре, настроен нейтрально или ему скучно. К концу пребывания в Кембридже эль Калиуби разработала систему, которая с точностью 88 % распознавала не только базовые эмоции, но и достаточно большой спектр выражений. Она дала устройству название MindReader.
В 2004 году, когда эль Калиуби разрабатывала MindReader в рамках работы над докторской диссертацией, ее лабораторию в Кембридже посетила Розалинд Пикард. Женщины очень быстро нашли общий язык>15. Сложность и стабильность системы эль Калиуби произвели такое впечатление на Пикард, что они вместе усовершенствовали MindReader. Эль Калиуби попросила Пикард дать оценку ее докторской диссертации, а Пикард пригласила эль Калиуби в группу эмоционального программирования при Междисциплинарной исследовательской лаборатории. В 2006 году, получив докторскую степень, эль Калиуби присоединилась к группе. Они успешно работали вместе и вскоре получили от Национального научного фонда около миллиона долларов на разработку iSET, «протеза» эмоциональных навыков, на основе созданной эль Калиуби программы FaceSense.