Терминология от президента США

В беседе с Ридом Альберготти в подкасте Future Proof Наделла заявил, что термин «суперинтеллект» (SI) ввел в оборот президент США, и Microsoft не видит причин его отвергать. «Вы можете поговорить с президентом. Он это назвал. И, на мой взгляд, это так же хорошее название, как любое другое», — сказал он. Интервью было опубликовано 21 октября, а широкий резонанс получил в начале ноября.

Проблема выравнивания отстает от масштабирования

Наделла признал, что законы масштабирования сработали «магически лучше», чем он ожидал в 2018 году, однако выравнивание поведения моделей остается нерешенной задачей. «Выравнивание кажется недостижимым», — констатировал он. По его словам, компания не должна полагаться исключительно на встроенные в модели механизмы безопасности. Необходимы дополнительные слои защиты, мониторинга и контроля, расположенные вне самих моделей.

Подход «внешнего контроля» и контекст индустрии

Глава Microsoft сравнил передовые ИИ-системы с сотрудниками, имеющими доступ к чувствительной информации и способными создать инсайдерские риски. Решение Microsoft — создание механизмов контроля и гарантий за пределами модели. На фоне этих заявлений OpenAI 28 октября опубликовала подробное описание своей многослойной системы мониторинга несоответствий пограничных моделей, а Anthropic в обновленном S-1A предупредила о приближении к способности рекурсивного самоулучшения (RSI), что может ускорить развитие возможностей быстрее, чем будут разрабатываться меры безопасности. Эксперты Law360 также обратили внимание на антимонопольные риски коллективных соглашений по безопасности между ИИ-лабораториями.