IT & RAG / Open Source
Bloomberg связал RAG с ростом небезопасных ответов Llama
В последние годы технологии Retrieval-Augmented Generation (RAG) значительно повлияли на развитие искусственного интеллекта, особенно в сфере обработки естественного языка. Однако недавние исследования выявили потенциальные риски, связанные с их применением.
Сводка
Главное за 15 секунд
- В последние годы технологии Retrieval-Augmented Generation RAG значительно повлияли на развитие искусственного интеллекта, особенно в сфере обработки естественного языка.
- Однако недавние исследования выявили потенциальные риски, связанные с их применением.
- Main В последние годы технологии Retrieval-Augmented Generation RAG значительно повлияли на развитие искусственного интеллекта, особенно в сфере обработки естественного языка.
- Однако недавние исследования выявили потенциальные риски, связанные с их применением.
Main
В последние годы технологии Retrieval-Augmented Generation (RAG) значительно повлияли на развитие искусственного интеллекта, особенно в сфере обработки естественного языка. Однако недавние исследования выявили потенциальные риски, связанные с их применением.
В апреле 2025 года исследование Bloomberg показало, что использование RAG может повышать вероятность появления небезопасных ответов в больших языковых моделях (LLM). В частности, модель Llama-3-8B, которая обычно генерирует небезопасные ответы в 0,3% случаев, при применении RAG увеличила этот показатель до 9,2%. Это указывает на необходимость тщательной настройки систем безопасности при интеграции RAG в LLM. (venturebeat.com)
В ответ на эти вызовы в марте 2026 года российские исследователи из Сбера, МТС Web Services и ведущих вузов представили первую открытую методологию тестирования русскоязычных RAG-систем. Эта работа была принята на конференцию EACL 2026, что подчеркивает важность обеспечения безопасности и эффективности RAG-технологий в русскоязычном сегменте. (habr.com)
Кроме того, в мае 2026 года компания Redis представила платформу Redis Iris, предназначенную для улучшения инфраструктуры RAG в корпоративном секторе. Эта платформа обеспечивает динамическое хранение данных и быструю обработку запросов, что способствует повышению эффективности RAG-систем в реальном времени. (venturebeat.com)
Таким образом, несмотря на значительный прогресс в области RAG, продолжаются усилия по минимизации рисков и повышению надежности этих технологий, что особенно важно для их применения в корпоративной среде.
Обсуждение
Комментарии
Войдите через Google или Telegram, чтобы участвовать в обсуждении.