Короче, Элиезер боится, что ИИ без воспитания — это опасно. Ключевая фраза — «В отсутствие этой заботы мы получаем «ИИ не любит вас и не ненавидит вас, и вы сделаны из атомов, которые он может использовать для чего-то другого».«
А что дата-центры в другой стране надо бомбить — это неизбежное следствие цифровизации всего и вся. Необычен только повод — «бомбить страну, которая не воспитывает ИИ в процессе обучения»
Цитаты Юдковского
«Если бы у меня была бесконечная свобода писать законы, я мог бы сделать единственное исключение для ИИ, обученных исключительно решению задач в биологии и биотехнологии, а не обучаемых на текстах из Интернета, и не до того уровня, когда они начинают говорить или планировать; но если бы это хоть немного усложняло проблему, я бы немедленно отбросил это предложение и сказал бы просто закрыть все это.
Выключите все большие кластеры графических процессоров (большие компьютерные фермы, где совершенствуются самые мощные ИИ). Отключите все большие тренировочные заезды. Установите потолок того, сколько вычислительной мощности можно использовать для обучения системы ИИ, и снизьте его в ближайшие годы, чтобы компенсировать более эффективные алгоритмы обучения. Никаких исключений для правительств и вооруженных сил. Немедленно заключайте многонациональные соглашения, чтобы предотвратить перемещение запрещенных видов деятельности в другие места. Отслеживайте все проданные графические процессоры.
Если разведка сообщает, что страна, не входящая в соглашение, строит кластер ГПУ, пугайтесь не столько перестрелки между странами, сколько нарушения моратория; будьте готовы уничтожить центр обработки данных авиаударом.
Ничего не выдавайте за конфликт национальных интересов, дайте понять, что всякий, кто говорит о гонке вооружений, — дурак. То, что мы все живем или умираем как один, в данном случае является не политикой, а фактом природы. Четко заявить в международной дипломатии, что предотвращение сценариев исчезновения ИИ считается приоритетом, а не предотвращение полного обмена ядерными ударами, и что союзные ядерные страны готовы пойти на некоторый риск обмена ядерными ударами, если это необходимо для снижения риска крупных тренировочных запусков ИИ. .
Такое изменение политики заставило бы моего партнера и меня держаться друг за друга и говорить друг другу, что произошло чудо, и теперь есть шанс, что, может быть, Нина выживет. Здравомыслящие люди, слышащие об этом впервые и разумно говорящие «может быть, не стоит», заслуживают того, чтобы честно услышать, что нужно для того, чтобы это произошло. И когда ваш запрос на политику настолько велик, единственный способ, которым он будет реализован, — это понять, что политики понимают, что если они будут вести бизнес как обычно и делать то, что политически легко, это означает, что их собственные дети тоже умрут.
Выключи все это.»
….
Многие исследователи, погруженные в эти проблемы , в том числе и я, ожидают , что наиболее вероятным результатом создания сверхчеловечески умного ИИ при любых обстоятельствах, отдаленно напоминающих нынешние, будет то, что буквально все на Земле умрут. Не как «может быть, какой-то отдаленный шанс», а как «очевидно, что это произойдет». Дело не в том, что вы в принципе не можете выжить, создавая что-то намного умнее вас; дело в том, что для этого потребуются точность, подготовка, новые научные открытия и, вероятно, отсутствие систем ИИ, состоящих из гигантских непостижимых массивов дробных чисел.
….
Без такой точности и подготовки наиболее вероятным результатом будет ИИ, который не делает то, что мы хотим, и не заботится ни о нас, ни о разумной жизни в целом. Такая забота в принципе может быть внедрена в ИИ, но мы пока не готовы и не знаем, как это сделать.
В отсутствие этой заботы мы получаем «ИИ не любит вас и не ненавидит вас, и вы сделаны из атомов, которые он может использовать для чего-то другого».
Вероятный результат противостояния человечества противостоящему сверхчеловеческому разуму — полная потеря. Подходящие метафоры включают «10-летний ребенок, пытающийся играть в шахматы против Stockfish 15», «11-й век пытается бороться с 21-м веком» и « Австралопитек пытается бороться с Homo sapiens ».
https://time.com/6266923/ai-eliezer-yudkowsky-open-letter-not-enough/