Безопасность и Этика / Безопасность ИИ
Наделла защитил термин «суперинтеллект» и предупредил о рисках безопасности ИИ
Глава Microsoft Сатья Наделла в интервью Semafor оправдал использование термина «суперинтеллект» для описания передовых ИИ-систем и призвал индустрию создавать внешние механизмы контроля, так как внутренние меры выравнивания моделей не справляются с ростом их способностей.
Сводка
Главное за 15 секунд
- Сатья Наделла оправдал термин «суперинтеллект», сославшись на его использование президентом США.
- Глава Microsoft признал, что выравнивание ИИ отстает от успехов в масштабировании моделей.
- Наделла предложил создавать внешние слои безопасности, не полагаясь только на внутренние механизмы моделей.
- В индустрии параллельно развиваются системы мониторинга (OpenAI) и фиксируются риски рекурсивного самоулучшения (Anthropic).
Терминология от президента США
В беседе с Ридом Альберготти в подкасте Future Proof Наделла заявил, что термин «суперинтеллект» (SI) ввел в оборот президент США, и Microsoft не видит причин его отвергать. «Вы можете поговорить с президентом. Он это назвал. И, на мой взгляд, это так же хорошее название, как любое другое», — сказал он. Интервью было опубликовано 21 октября, а широкий резонанс получил в начале ноября.
Проблема выравнивания отстает от масштабирования
Наделла признал, что законы масштабирования сработали «магически лучше», чем он ожидал в 2018 году, однако выравнивание поведения моделей остается нерешенной задачей. «Выравнивание кажется недостижимым», — констатировал он. По его словам, компания не должна полагаться исключительно на встроенные в модели механизмы безопасности. Необходимы дополнительные слои защиты, мониторинга и контроля, расположенные вне самих моделей.
Подход «внешнего контроля» и контекст индустрии
Глава Microsoft сравнил передовые ИИ-системы с сотрудниками, имеющими доступ к чувствительной информации и способными создать инсайдерские риски. Решение Microsoft — создание механизмов контроля и гарантий за пределами модели. На фоне этих заявлений OpenAI 28 октября опубликовала подробное описание своей многослойной системы мониторинга несоответствий пограничных моделей, а Anthropic в обновленном S-1A предупредила о приближении к способности рекурсивного самоулучшения (RSI), что может ускорить развитие возможностей быстрее, чем будут разрабатываться меры безопасности. Эксперты Law360 также обратили внимание на антимонопольные риски коллективных соглашений по безопасности между ИИ-лабораториями.
Обсуждение
Комментарии
Войдите через Google или Telegram, чтобы участвовать в обсуждении.