Main

Самая актуальная и громкая новость за последние 3 дня на стыке IT, RAG и Open Source — это представление в России первой открытой динамической методологии тестирования русскоязычных RAG-систем, разработанной совместно SberAI, MWS AI и ведущими вузами.

Ключевое событие: DRAGOn меняет стандарты оценки RAG

Исследователи из команды SberAI (Сбер), MWS AI (МТС Web Services) и академических институтов создали методологию DRAGOn (Designing RAG on Periodically Updated Corpus). Это первый в мире открытый инструмент, позволяющий тестировать системы генеративного ИИ с поиском (RAG) на динамически обновляемых корпусах данных, что критически важно для реальных бизнес-задач, где информация постоянно меняется [10].

Традиционные методы тестирования часто оценивают RAG-системы на фиксированных датасетах, что не отражает реальную работу с актуальными документами. DRAGOn решает эту проблему, вводя периодическое обновление тестового корпуса, имитирующее живой поток корпоративных данных. Это позволяет измерять не только качество ответов, но и способность системы адаптироваться к новым фактам без переобучения модели [10].

Почему это важно для Open Source и бизнеса

Разработка выполнена в формате open методологии, что означает публичный доступ к алгоритмам тестирования и возможность их интеграции в любые open source RAG-пайплайны. Для разработчиков это открывает путь к созданию более надежных систем, где оценка качества retrieval-слоя становится стандартом, а не опцией [10].

В контексте глобального тренда на open weights модели (DeepSeek, Qwen, Mistral), появление российской открытой методологии тестирования усиливает конкуренцию и снижает зависимость от закрытых проприетарных решений. DRAGOn позволяет компаниям самостоятельно верифицировать эффективность своих RAG-систем, что особенно актуально в эпоху, когда 80–90% задач по кодированию и рассуждению уже закрываются open models [5].

Источник новости: habr.com.