В какой-то момент обсуждение переросло в спор о том, кто должен принимать окончательные решения – человек или машина. Юрист напомнил о принципе «последнего слова за человеком», который был включён в большинство международных стратегий по развитию ИИ. Марина согласилась: никакой искусственный интеллект не должен иметь права окончательно решать судьбы людей. Но Илья возразил: если система будет постоянно ждать одобрения от человека, она потеряет свою эффективность и не сможет реагировать на экстренные ситуации. Компромисс нашли не сразу. Было решено: в критических случаях Селена может действовать самостоятельно, но все её действия должны быть полностью прозрачны и подотчётны, а любой человек имеет право запросить объяснение любого решения.
Проблема объяснимости решений Селены стала одной из центральных. Команда разработала специальный модуль, который позволял расшифровывать цепочку логики, приведшую к тому или иному выводу. Теперь любой житель города мог узнать, почему система предложила изменить маршрут автобуса или почему отключила воду в определённом районе. Это решение понравилось не всем – некоторые считали, что публикация таких данных может привести к манипуляциям или даже к нарушению коммерческой тайны. Но команда стояла на своём: доверие важнее, чем секретность.
Параллельно с этическими и юридическими вопросами возникали и чисто человеческие страхи. В лабораторию всё чаще приходили письма от горожан – кто-то благодарил за помощь, кто-то жаловался на сбои, кто-то выражал опасения, что ИИ может стать инструментом слежки или контроля. Однажды Марина получила письмо от пожилой женщины, которая боялась, что её данные могут попасть в чужие руки. Она писала: «Я не хочу, чтобы кто-то знал, когда я выхожу из дома или с кем разговариваю». Марина ответила лично, объяснив, что Селена не хранит личные данные дольше, чем это необходимо, и что все процессы защищены по самым строгим стандартам. Но этот случай заставил команду задуматься: как убедить людей, что система работает на их благо, а не против них?
В какой-то момент Капица предложил провести общественные слушания, где каждый мог бы высказать свои опасения и предложения. На встречу пришло много людей – от студентов до пенсионеров, от предпринимателей до учителей. Разговор был непростым: кто-то требовал полной прозрачности, кто-то опасался, что ИИ заменит людей на рабочих местах, кто-то просил внедрить дополнительные механизмы контроля. Команда внимательно слушала, делала пометки, обещала учесть все пожелания. После встречи Марина написала в дневнике: «Сегодня я впервые почувствовала, что мы делаем что-то действительно важное – не только для науки, но и для людей».