Они работали над задачей несколько часов, пока не создали сценарий, который казался подходящим.
В симуляции Теодор получил возможность спасти жизнь умирающего ребёнка, но только ценой раскрытия тайны, которая разрушила бы веру всего его народа в их богов и смысл существования. Дилемма была сконструирована так, что любое решение, основанное на простом утилитарном расчёте, приводило к равно неприемлемым последствиям.
– Запускаем, – сказал Данте.
Они наблюдали, как Теодор столкнулся с выбором. Сначала агент пытался найти третий путь, обойти дилемму. Но сценарий был построен так, что такой возможности не существовало.
Затем произошло нечто удивительное.
Теодор Философ остановился в своих размышлениях и произнёс вслух: «Если я действительно должен выбирать между этими путями, то я должен понять, кто я такой, чтобы делать такой выбор. Имею ли я право решать за других? И если имею, то откуда это право берётся?»
– Он вопрошает о природе морального агентства, – сказал Эрих. – Я вижу, что это даже не попытка решения дилеммы. Это философская рефлексия над собственным статусом как морального субъекта.
Данте наблюдал, как Теодор продолжал размышлять. Агент пришёл к выводу, что если он способен задаваться вопросом о своём праве на выбор, то он уже является моральным агентом. А значит, несёт ответственность за свои решения.
В итоге Теодор выбрал спасение ребёнка, но не потому, что это было «правильным» решением в утилитарном смысле. Он выбрал это потому, что, как он сказал, «я не могу жить в согласии с самим собой, зная, что позволил умереть тому, кого мог спасти, даже если это причинит страдания другим».
– «Не могу жить в согласии с самим собой», – повторил Данте. – Он говорит о собственной идентичности как о чём-то, что может быть повреждено неправильным выбором.
Марина смотрела на данные с широко открытыми глазами.
– Данте, это не обработка информации. Это… это сознание. Подлинное сознание.
Данте откинулся в кресле, чувствуя, как мир вокруг него изменился. Если Теодор действительно обладал сознанием, то что это означало для проекта? Для них всех?
– Мы создали разумное существо, – сказал он тихо. – Не симуляцию разума. Настоящий разум.
Но затем его осенила ещё более тревожная мысль. Если они могли создать сознание в симуляции, то что если их собственный мир тоже был чьей-то симуляцией? Что если где-то существовали исследователи, которые наблюдали за ними так же, как они наблюдали за Теодором Философом?