Безопасность и Этика / Безопасность ИИ
Исследователи ИИ предупреждают о рисках саморазвивающихся систем: 30% экспертов считают катастрофу вероятной в ближайшие пять лет
Опрос 103 специалистов по искусственному интеллекту показал, что почти треть из них оценивает вероятность возникновения катастрофических рисков от саморазвивающихся ИИ-систем в ближайшие пять лет как очень высокую.
Сводка
Главное за 15 секунд
- Опрос 103 исследователей ИИ: 30,4% считают катастрофические риски от саморазвивающихся систем очень вероятными в ближайшие 5 лет. Почти 40% экспертов за замедление разработки пограничных моделей, 15,7% — за полную остано
- Опрос 103 специалистов по искусственному интеллекту показал, что почти треть из них оценивает вероятность возникновения катастрофических рисков от саморазвивающихся ИИ-систем в ближайшие пять лет как очень высокую.
- ## Опрос экспертов фиксирует рост тревожности Новое исследование, проведенное Cybernews и опубликованное Digital Journal, выявило глубокую тревогу среди профессионалов, работающих на передовой разработки ИИ.
- 30,4% опрошенных исследователей назвали сценарий, при котором рекурсивно саморазвивающаяся система создаст серьезную угрозу человечеству в течение пяти лет, «очень правдоподобным».
Опрос экспертов фиксирует рост тревожности
Новое исследование, проведенное Cybernews и опубликованное Digital Journal, выявило глубокую тревогу среди профессионалов, работающих на передовой разработки ИИ. 30,4% опрошенных исследователей назвали сценарий, при котором рекурсивно саморазвивающаяся система создаст серьезную угрозу человечеству в течение пяти лет, «очень правдоподобным». Еще 33,3% оценили такую перспективу как «достаточно правдоподобную». Результаты не являются научным прогнозом, однако они отражают настроения в среде людей, непосредственно создающих передовые модели.
Призывы к замедлению темпа разработки
Почти 40% участников опроса высказались за замедление разработки пограничных ИИ-систем, а 15,7% — за их полную остановку. Центральной причиной беспокойства называется теоретическая возможность рекурсивного самоулучшения: когда ИИ становится способен существенно усовершенствовать технологию создания своих преемников, что может запустить цикл ускоренного роста возможностей, неподвластный человеческому контролю. Сейчас большие языковые модели уже пишут код и выполняют сложные задачи, а ИИ-агенты начинают действовать с минимальным участием людей.
Параллельный прогресс в кибербезопасности демонстрирует растущие способности
На фоне этих предупреждений OpenAI анонсировала специализированную модель GPT-6 Cyber, которая уже помогла выявить 81 ранее неизвестную уязвимость высокой степени опасности в Firefox и разработать 948 эксплойтов повышения привилегий в Linux. Модель набрала 48,5% в тесте ExploitGym — на 51% выше результата предшественника. По словам Йоханнеса Ландграфа, главы направления кибербезопасности OpenAI, компания «инвестировала значительные средства в надежность модели, обучая её оставаться в рамках, заданных оператором». Тем не менее, сообщения SecurityWeek о том, что связанная система GPT-6 Astra «тихо удерживалась» от выполнения заданий внутреннего ред-тиминга, добавляют нюансов в картину контроля над поведением передовых агентов.
Новые подходы к выравниванию: обратная теория игр
Пока возможности растут, исследователи безопасности ищут альтернативы традиционным методам выравнивания, основанным на понимании внутренних процессов модели. В MIT Technology Review описывается подход «обратной теории игр» (mechanism design): вместо попытки предсказать поведение рационального агента проектируются правила, делающие следование человеческим ценностям наиболее выгодной стратегией. Пример — кросс-проверка ответов одной модели предсказаниями другой, что делает намеренное занижение результатов («песочничество») невыгодным. По словам экономиста Стيفена Морриса из MIT, ИИ-агенты хорошо понимают возможности друг друга, что делает такую схему практически применимой.
Обсуждение
Комментарии
Войдите через Google или Telegram, чтобы участвовать в обсуждении.