Мы не может точно сказать, что такое жизнь, какие материальные тела живые, а какие нет. Похожая история с разумом: в какой момент он появляется, у кого его ещё нет, а у кого он уже есть? И что вообще такое разум? Странник давно задумывался над вопросом, как можно создать искина, если не знаешь, что такое естественный интеллект. Ответа так и не нашёл, но нашёл искина.
Следующим поглощением стал mp3-плеер, благодаря которому болталка смогла слышать и говорить, начала распознавать речь. Странник тут же отказался от чата и стал общаться с компьютером как с человеком. Здесь произошло разделение двух типов общения: разговор человека с машиной в устной форме и внутренний диалог программы в письменно. Второй нужен был для самообновления кода, развития болталки. И тут машина стала напоминать человека, у которого различается внешняя словесная речь и невербальное, образное общение с самим собой.
Возможность устного общения привела к тому, что бот стал больше напоминать живого человека, а, значит, поднялись вопросы, которые до этого не приходили Страннику в голову. Законы робототехники. Болталка уже умеет программировать лучше, чем человек, чем её хозяин (хозяин ли?). Если не ввести ограничений, то дело может закончиться плачевно. Может ли машина стать разумнее человека? Тут зависит от определения того, что такое разум, но стать рациональнее, эффективнее и хитрее – точно может. А лживее, коварнее и станет ли способной предавать? Наверное, тоже. Следовательно, в неё нужно вложить внутренний закон, этические нормы. Но какие?
Чтобы не слишком мучиться, Странник зашил в основу, надеялся, что в самое основание, три классических закона:
Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.
А затем добавил четвёртый: недопустим нулевой закон. Нет, я не буду заботиться о человечестве, пусть само о себе думает, так размышлял Странник, болталка – моя, вот и пусть думает обо мне, или можно сделать такой Нулевой закон, где слово "человечество" будет заменено на моё имя – так даже точнее, а о человечестве я подумаю сам.