Система социального рейтинга и ее многочисленные западные аналоги вызвали немало споров, и неясно, до чего они способны дойти. Конечно, некоторые области применения таких систем могут оказаться достаточно ценными. Сложно жаловаться на медицинскую систему надзора, которая ускоряет отслеживание контактов, чтобы остановить распространение инфекционного заболевания и препятствует таким образом началу пандемии. Но когда те же инструменты используются для постоянного ранжирования всех и каждого, они становятся элементом подавления людей.
Основная опасность социального контроля средствами ИИ – это создание мира строгой регламентации. Конфликт и конкуренция – часть жизни, и мы должны быть готовы к тому, что технологическое развитие скажется и на них. Однако ИИ и роботы грозят сделать социальный контроль слишком совершенным, а конкуренцию (для того чтобы стать тем, кто способен навязывать контроль или уклоняться от него) – слишком жесткой. Безопасность и креативность человека развиваются в средах, в которых найден баланс предсказуемости и открытости, порядка и подвижности. Если мы не сможем ограничить робототехнику, встроенную в системы социального контроля, этому балансу придет конец.
4. Роботизированные системы и ИИ всегда должны содержать указание на идентичность своего создателя (или создателей), оператора (или операторов) и собственника (или собственников)
За роботов и алгоритмические системы отвечают люди. Конечно, некоторые программы могут сегодня порождать новые программы, которые, в свою очередь, дают начало другим. Но мы все еще может проследить родословную этих «детей и внуков разума» вплоть до их источника[22]. И мы должны сохранить это положение дел в обозримом будущем, несмотря на предсказуемое сопротивление со стороны некоторых апологетов полностью автономного ИИ.
На передовых рубежах ИИ, машинного обучения и робототехники подчеркивается автономия, будь то умных контрактов, высокочастотных трейдинговых алгоритмов (независимых, по крайней мере, в те промежутки времени, которые для людей незаметны) или будущих роботов. Существует туманное понятие «бесконтрольных» роботов, которые сбежали от своего создателя. Возможно, такие инциденты и в самом деле неизбежны. Тем не менее какой-то человек или организация должны за них отвечать. Требование, согласно которому у всякого ИИ или роботизированной системы должно быть лицо, отвечающее за его или ее действие, поможет ограничить те проекты, которые способны оказаться столь же опасными, как нерегулируемая биоинженерия вирусов.