«Для начала предположим, что программистам удастся создать интеллектуальные машины, которые умеют все делать лучше человека. В таком случае следует предположить, что вся работа будет осуществляться сложнейшими, высокоорганизованными техническими системами, и человеческий труд перестанет быть необходимым. Тогда наступит один из двух вариантов развития событий: машинам будет доверено принимать решения без вмешательства человека или же контроль над ними со стороны человека сохранится.
Если машинам позволят принимать решения самостоятельно, то мы не можем предсказать, что произойдет в результате, поскольку невозможно предвидеть, как поведут себя такие машины. Мы лишь заметим, что судьба человечества станет зависеть от милости машин.
Можно было бы возразить, что люди никогда не поглупеют настолько, чтобы передать власть машинам. Мы не утверждаем ни то, что люди сделают это добровольно, ни то, что машины силой вырвут власть у людей. Однако человечество может легко впасть в такую зависимость, в которой не останется иной альтернативы, кроме как соглашаться со всем, что решат машины. По мере того как общество и его проблемы будут все больше усложняться, а машины становиться все умнее, люди будут все чаще передавать машинам принятие решений только лишь потому, что их решения будут давать лучшие результаты, чем решения, принятые человеком.
В итоге может наступить такая фаза развития, на которой принимать решения, необходимые для продолжения функционирования системы, станет настолько сложно, что человек перестанет справляться с этой задачей. К этому моменту машины фактически возьмут человечество под контроль. Люди просто не смогут выключить машины, поскольку будут от них слишком зависимы и отключение будет равнозначно самоубийству.
Возможен сценарий, в котором человек сохранит контроль над машинами. В этом случае рядовой гражданин будет контролировать свою личную технику, например автомобиль или компьютер. Однако контроль над сложными компьютерными системами будет в руках малочисленной элиты, как это уже происходит сейчас, но с двумя отличиями: совершенствование технологий позволит элите все прочнее контролировать массы, и, поскольку человеческий труд перестанет быть нужным, эти массы станут избыточными, бесполезным балластом внутри системы.