IT & RAG / Open Source
Сбер, МТС Web Services и вузы представили открытую методологию тестирования русскоязычных RAG-систем
Российские исследователи представили DRAGOn — первую открытую динамическую методологию для оценки русскоязычных генеративных систем с поиском по базе знаний. Проект создан командой SberAI, МТС Web Services и университетами и адресует одну из главных проблем рынка: как объективно сравнивать RAG-системы, если знания в корпусе регулярно обновляются.
Сводка
Главное за 15 секунд
- Российские исследователи из SberAI, MTS Web Services и вузов представили DRAGOn — открытую методологию тестирования русскоязычных RAG-систем на обновляемом корпусе. Разработка важна для open source и корпоративных внедре
- Российские исследователи представили DRAGOn — первую открытую динамическую методологию для оценки русскоязычных генеративных систем с поиском по базе знаний.
- Проект создан командой SberAI, МТС Web Services и университетами и адресует одну из главных проблем рынка: как объективно сравнивать RAG-системы, если знания в корпусе регулярно обновляются.
- ## Что произошло Исследователи из SberAI, MTS Web Services и ряда российских и международных университетов разработали и публично показали DRAGOn (Designing RAG on Periodically Updated Corpus) — открытую методологию тест
Что произошло
Исследователи из SberAI, MTS Web Services и ряда российских и международных университетов разработали и публично показали DRAGOn (Designing RAG on Periodically Updated Corpus) — открытую методологию тестирования русскоязычных RAG-систем на периодически обновляемом корпусе документов.[1] В Хабре проект описан как первая открытая динамическая методология такого типа для русского языка.[1]
Почему это важно для рынка
RAG-подход стал базовой архитектурой для корпоративных ИИ-помощников: модель отвечает не только из собственных параметров, но и опирается на внешнюю базу знаний. Именно поэтому слабым местом многих внедрений остается не сама LLM, а качество поиска, релевантность контекста и поведение системы при обновлении документов.[3][5] DRAGOn закрывает сразу несколько практических задач: позволяет проверять точность ответов, устойчивость к свежим данным и качество retrieval-компонента, а не только генерации.[1]
Что это меняет для open source и enterprise
Для open source-сообщества такой релиз важен тем, что снимает часть барьеров между исследовательскими экспериментами и промышленной эксплуатацией. На фоне множества прикладных материалов по сборке RAG на LangChain, ChromaDB, Ollama и других открытых инструментах отрасли давно не хватало общепринятой методики оценки, особенно в условиях, когда документы регулярно меняются.[6] Появление DRAGOn может ускорить сравнение разных подходов — от классического vector search до hybrid retrieval и RAG-Fusion — на более строгой и воспроизводимой основе.[3]
Контекст
Интерес к RAG продолжает расти именно потому, что компании ищут способ уменьшить галлюцинации и сделать ответы ИИ проверяемыми на корпоративных данных.[3][5] В этой логике открытая методология становится не академической формальностью, а инфраструктурным инструментом для рынка, где качество поиска и обновляемость знаний часто важнее самой модели.
Источник новости: Хабр.
Обсуждение
Комментарии
Войдите через Google или Telegram, чтобы участвовать в обсуждении.