Технологическая переоценка и экзистенциальные риски сингулярности
Когда Винер писал свои книги, рождался показательный пример переоценки технологических возможностей. В 1950-х годах предпринимались первые попытки разработать искусственный интеллект; речь о таких исследователях, как Герберт Саймон, Джон Маккарти и Марвин Минский, которые начали программировать компьютеры на выполнение простых задач и конструировать примитивных роботов. Успех первоначальных усилий побудил Саймона заявить, что «машины в ближайшие двадцать лет смогут выполнять любую работу, которую способен выполнить человек». Подобные прогнозы с треском провалились. Последовательно наращивая свою мощность, компьютеры все лучше и лучше играли в шахматы, поскольку могли систематически генерировать и оценивать широкий выбор потенциальных будущих ходов. Но большинство предсказаний в сфере ИИ, будь то горничные-роботы или что-то еще, оказались пустыми фантазиями. Когда суперкомпьютер DeepBlue победил Гарри Каспарова в шахматном матче 1997 года, наиболее «продвинутым» роботом-уборщиком считалась «Румба», которая беспорядочно металась по помещению с пылесосом и пищала, застревая под диваном.
Технологические прогнозы весьма проблематичны, учитывая, что технологии развиваются через усовершенствования, сталкиваются с препятствиями и форсируются инновациями. Многие препятствия и отдельные инновации выглядят ожидаемыми, но к большинству тех и других это не относится. В моей собственной области экспериментов по созданию квантовых компьютеров я обычно наблюдаю, как отдельные технологические этапы, казалось бы вполне реализуемые, оказываются невозможными, тогда как другие задачи, нерешаемые, как мне думается, легко осуществляются на практике. В общем, не узнаешь, пока не попробуешь.
В 1950-х годах Джон фон Нейман, отчасти вдохновляясь беседами с Винером, ввел понятие «технологической сингулярности». Технологии имеют тенденцию улучшаться в геометрической прогрессии, скажем удваивать мощность или чувствительность приборов за некоторый интервал времени. (Например, с 1950 года компьютеры удваивали мощность примерно каждые два года – это наблюдение известно как закон Мура.) Фон Нейман экстраполировал наблюдаемый экспоненциальный технический прогресс и допустил, что «технический прогресс станет непостижимо быстрым и сложным», опережая человеческие возможности в уже не слишком отдаленном будущем. Действительно, если отталкиваться исключительно от наращивания вычислительных мощностей, выраженных в битах и битовых переходах, и прогнозировать будущее на основании текущих темпов, мы вправе утверждать, что компьютеры сравняются по возможностям с человеческим мозгом в ближайшие два-три-четыре десятилетия (в зависимости от того, как оценивать сложность процессов обработки информации в человеческом мозге).