Main

Ключевым событием последних дней на стыке Open Source и RAG стало создание первой в мире открытой динамической методологии тестирования русскоязычных систем генеративного ИИ с поиском — DRAGOn (Designing RAG on Periodically Updated Corpus).

История создания и участники

Методологию разработали исследователи из команды SberAI (Сбер), MWS AI (МТС Web Services) совместно с ведущими российскими и международными вузами. Проект позиционируется как фундаментальный шаг к стандартизации оценки качества RAG-систем, которые ранее тестировались разрозненно и без единого критерия. Новая методология получила название DRAGOn и полностью открыта для использования разработчиками [4].

Техническая суть DRAGOn

В отличие от традиционных подходов, DRAGOn фокусируется на проверке систем в условиях постоянно обновляемой базы знаний. Система автоматически вычленяет новые факты из свежих новостных лент, формируя динамическую «карту знаний». Затем она создает многоуровневые логические задачи, требующие от ИИ сопоставления нескольких источников вместо простого копирования фрагментов текста [4][6]. Это позволяет оценить не только способность модели генерировать ответы, но и точность извлечения релевантных данных из актуального контекста.

Значение для Open Source сообщества

Появление открытой методологии критически важно для разработчиков, использующих open source-инструменты (такие как LangChain, ChromaDB, Ollama), поскольку дает им стандартизированный инструмент для бенчмаркинга своих решений [5]. Ранее отсутствие единого протокола оценки затрудняло сравнение эффективности различных RAG-пайплайнов. Теперь инженеры могут проверять, насколько их система устойчива к «шуму» и способна работать с динамически меняющимися данными, что является ключевым требованием для промышленного внедрения [2].

Источник новости: Habr (habr.com/ru/news/1014356/)