Потенциально возможных ситуаций в жизни бесконечное множество. С усложнением мира постоянно возникают новые ситуации и происходят эмерджентные эффекты.
Понятно, что ИИ с ограниченным числом внутренних состояний не способен справиться с бесконечным числом возникающих ситуаций.
Квалиум же способен порождать новые квалии.
Подробнее – Волшебные вспышки квалий. Теория симуляции вида «Экзотическая в кубе» Е3. Глава 17.
Вывод – роботы с душой будут превосходить роботов без души в новых ситуациях. Поэтому рынок корпорации «Душа Робота» будет огромен.
10.1.1.5. Принципиальная непредсказуемость по настоящему мощного ИИ.
В компьютерных науках есть проблема останова машины Тьюринга. То есть невозможно заранее предсказать, закончит ли программа свою работу или будет вычислять вечно. Невозможно предсказать результат работы программы не запустив саму программу и не посмотрев на её работу.
Аналогично проблеме останова, Стивен Вольфрам обосновывает идею, что по настоящему мощный ИИ будет принципиально невозможно предсказать. То есть, чтобы узнать, что будет делать ИИ, будет необходимо его запустить и посмотреть. Иного способа узнать, что он будет делать, просто не существует. Понятно, что в этом случае мощность ИИ придётся ограничивать и следовательно ограничивать его полезность. Иначе ИИ может уничтожить человечество.
10.1.2. Решение этических и моральных вопросов. Конструктор правильных виртов
Люди создают роботов для того чтобы они улучшали жизнь людей. Если у роботов будут чувства, то получиться что люди делают чувствующих существ рабами и это неэтично.
Аналогия с животными. Люди использовали и используют животных. Ездят на лошадях, идут по следу преступников с собаками. Будет ли такая эксплуатация в будущем признана неэтичной? Думаю, что нет. Дело в том, что собака по видимому вовсе не против идти по следу. Лошадям может нравиться возить наездника.
Можно так спроектировать чувствующих роботов, чтобы они получали удовольствие от деятельности, ради которой их проектируют.
Вспомним главу про вирты. И правило что вирты могут быть абсолютно любыми.
Например, некоторые люди строят дом не с целью заработать, а просто потому, что им нравиться это занятие. Значит можно так спроектировать робота, что он будет обожать строить дома. У робота будет хобби – строить дома.