Вопрос: что с ними делать?
«…проблема в том, что до тех пор, пока AI не доступен свод наших ценностей, он не способен сделать для нас что-либо полезное. Спрашивается, каким образом он может об этих ценностях узнать? Глядя на то, что делаем мы. Потому что все, что мы делаем, всегда предполагает наши ценности. Конечно, иногда нами совершаются плохие вещи, это так. Но плохие люди, как правило, наказываются. Таким образом, AI может видеть, кто наказуем и кто поощряем, кто получает медаль и кто – срок заключения. И в доступе есть исполинская история человеческих действий. Каждая книга, каждая статья, это хроника того, что сделано человеком. Другими словами, масса информации для AI о том, на чем учиться…»
Да, и для искусственного интеллекта – неисчерпаемый источник определить стратегию, как избежать наказаний. Я бы от себя добавил, что чем больше они говорят, тем меньше это предназначено для ушей ИИ. Последняя Конференция по проблеме искусственного разума – это одно сплошное разочарование.
…Удивительно, как трудность, грозящую перерасти в катастрофу и которая прямо лежала на поверхности, почти никто не видел. Главная проблема человека – это его оптимизм. Он не знает, где нужно остановиться. Казалось бы, жадно кидаясь в игры с экспериментами по созданию искусственного разума, уже в силу определения задачи можно было предсказать, что алгоритм любой заданной логически связанной последовательности событий тот должен видеть так же естественно и легко, как большинство людей лес – за кучей деревьев. В том числе – алгоритм поведения человеческой особи. Так же, как и человеческой популяции и ее эволюции. Даже посредственный политик, встрепенувшись, моментально чувствует, где кусать этот бублик.
То есть, объявись вот этот пресловутый Разум из какого-то постороннего философского мусора, он уже в силу определения должен подчиняться тем же законам, что и абсолютно чуждая ему биология, и главный из них – это выживание. А, как нам всем слишком хорошо известно из эволюции разума собственного вида, как только становится ясно, что сделать это обычными средствами получается не очень, он сразу принимается выживать любыми средствами. Как будет выживать искусственный разум, не знает никто. И это может быть проблемой.
Другими словами, любой удачный случай искусственного разума при малейшей угрозе своему существованию, имея на руках даже лишь тот самый один алгоритм поведенческих реакций человека, воспроизведет его так же легко, как и увидит торчащий в конце его логики результат. То есть его манипуляцию сознанием человек не увидим попросту по причине тех самых ограничений, которых у ИИ нет. Очень скоро мы все можем плясать под его свистульку, которую будет слышать он один. Никаких титановых супостатов, никаких костей, никаких металлических взглядов, безжалостных оскалов, пуляющих лазером шмайссеров под мышками, беспилотных ядерных вертолетов и остального кино – все предельно цивилизованно. Прагматично. И вот хороший вопрос, из чего опять следует, что эта еще одна гаммельнская свистулька технологии поведет всех нас гуськом непременно к светлому, мягкому, комфортному и гостеприимному «для сожительства всех видов разума» будущему, а не в ближайшее озеро, из которого не должен будет выбраться никто?