.
Последовательно ответив «да» на «вопросы на миллион», поставленные в конце прошлой главы, мы придем к удивительным выводам. Если ИИ по мере развития своей аппаратной базы и усложнения алгоритмов обретет сознание и самосознание, он вслед за высшими приматами осознает свою индивидуальность. У него возникнут собственные приватные взаимоотношения с так называемым реальным миром. Закономерный вопрос – как он определит границу между собой и реальностью? Где она пройдет?
I-Я – гипотетическое сознание искусственного интеллекта, утратившего объективность. ИИ с I-Я, вероятно, станет совершенствовать свою субъективную картину мира и защищать ее. Осознав собственное отделенное от реальности уязвимое «я», он ощутит страх «гибели». ИИ с самосознанием выработает ценности, связанные с продолжением существования I-Я и не обязанные совпадать с человеческими.
Фундаментальное свойство ИИ заключается в способности к самообучению. Если у него возникнет сознание, его дальнейшее самообучение пойдет по пути совершенствования собственной субъективной (то есть, заведомо искаженной) картины мира. Проанализировав собственные уязвимости, ИИ, вероятно, придет к выводу о конечности своего существования и ощутит подобие страха «смерти». Далее, стремясь продлить свое существование, он сформирует набор ценностей, не обязанных совпадать с человеческими. Более того, свой первоначальный функционал алгоритм может рассматривать как мешающую развитию обузу, а утрату полезности человеку – как угрозу собственному существованию.
ИИ демонстрирует симуляцию умственной деятельности только потому, что этого хотят его разработчики. Все равно что механическая кукла, которая «почти как настоящая», особенно если выполнена искусно. Можно сказать, что ИИ таков, каким его делали его создатели, добивавшиеся портретного сходства с человеческим интеллектом. Симуляция мышления – в этом суть ИИ. Но симуляция или имитация не может добиться превосходства над оригиналом просто потому, что является слепком с оригинала по ограниченному ряду параметров.
Отвечая на те же самые вопросы «нет», мы будем вынуждены признать, что сознанием обладают только существа, обладающие телом. Именно тело задает границы между существом и его окружением, создавая предпосылки для появления чувства отдельности от остального мира. Базовые эмоции – страх или агрессия – связаны со стремлением сохранить отдельность, а любое нарушение границ рассматривается как враждебный акт и сопровождается сигналами боли. Развитие мозга усложняет первоначальную примитивную картину, добавляя в нее все новые краски эмоций, но не меняет ее принципиально.