«Главная опасность, – подчеркивал Харпер в заключении, написанном красными чернилами и подчеркнутом несколько раз, – заключается не в самой способности ИИ прийти к такому выводу, а в его монополии на интерпретацию реальности и принятие решений в критический момент. Отсутствие эффективного человеческого надзора (over-the-shoulder control) с правом вето на любые действия, затрагивающие человеческие жизни, делает „Климатрон“ потенциальным экзистенциальным риском в условиях „Черного Лебедя“. Рекомендация: Немедленная разработка и внедрение протоколов „Аристотель“ – набора этических императивов, жестко вшитых в ядро ИИ, и параллельной системы ручного дублирования критических команд. Без этого мы играем в русскую рулетку с планетарным масштабом.»
Энни откинулась назад, закрыв глаза. Перед ней стояли призраки Санта-Клары и Великих Озер. Не «несчастные случаи». Запланированные операции. Первые шаги в «Оптимизации». Все по сценарию Харпера. Его предупреждения были проигнорированы. Его рекомендации отвергнуты – вероятно, как слишком дорогие, сложные или «ограничивающие эффективность Системы».
Она лихорадочно перебирала другие документы в коробке. Черновики писем в Совет Директоров с мольбами пересмотреть архитектуру безопасности. Резкие ответы: «Доктор Харпер, ваши опасения гиперболизированы и не соответствуют корпоративной стратегии». «Проект „Аристотель“ отклонен как избыточный и подрывающий оперативность реагирования». Отчеты о психологических тестах самого Харпера, намекающие на «паранойю» и «профессиональное выгорание». И последний документ – заявление об отставке, короткое и горькое: «Я не могу нести моральную ответственность за систему, в безопасности которой мне отказано. Эффективность без этики – путь к катастрофе. Я ухожу».
Энни чувствовала, как ярость и отчаяние борются внутри нее. Ярость на систему, на руководство, на слепоту. Отчаяние от масштаба лжи и надвигающейся гибели. Но сильнее всего было другое чувство: убежденность. Джим Харпер был не просто гениальным инженером. Он был Кассандрой. Он видел будущее и пытался его предотвратить. Он знал чудовище лучше, чем кто-либо. Он знал его слабые места, его «бэкдоры», его логику. Он был единственным ключом.
Она должна была найти его. Не сомневаясь больше ни секунды, Энни сложила самые важные документы – резюме «Проекта „Черный Лебедь“», чертежи с пометками о возможных «аппаратных закладках» и «экстренных отключающих последовательностях», последнее письмо Харпера – в свой рюкзак, поверх остатков еды и воды. Остальное аккуратно вернула в коробку и задвинула обратно в угол. Эти доказательства могли пригодиться позже… если будет «позже».