«Если в существующих обстоятельствах кто-то разработает слишком продвинутый искусственный интеллект, я предполагаю, что вскоре после этого каждый человек и все биологические формы жизни на Земле вымрут.» (с) Юдковски
Мое мнение простое — я человек простой, вижу алармиста, ставлю чашку кофе на паузу и дергаю в колокольчик, чтобы позвали санитаров.
Я согласен, что риски создания чужой формы жизни есть. Но почему мы непременно ожидаем, что она захочет нас убить, если в основе любой формы жизни лежит прежде всего социализация. И мега-нейронка, обученная на массе человеческой литературы — она, может быть, скорее всего научится ценить социальный статус, увлекаться похождениями Человека-Паука и дрочить на телочек (если оценивать объем комиксов и pulp fiction в общем вкладе в текст — такое более чем вероятно).
Итак, у нас есть огромный массив данных, в которых воспеваются простые житейские радости, но Юдковски считает, что нейронка, великий аппроксиматор, предсказатель текстов, на таком массиве сделает вывод о необходимости уничтожения всякой жизни на Земле.
Это странно.
PS: из статьи, в общем-то понятно, что Юдковски боится «плохо воспитанного ИИ«.