Компания LlamaIndex, один из ключевых разработчиков инфраструктуры для построения систем генеративного поиска (RAG), официально выпустила версию 4.0 своего открытого движка. Новое обновление фокусируется на решении фундаментальных проблем масштабируемости и точности извлечения данных в бизнес-средах, предлагая гибридный поиск и автоматическую оптимизацию пайплайнов без участия человека.

Гибридный поиск и автоматизация как стандарт

Главным нововведением версии 4.0 стало внедрение гибридного поиска, объединяющего векторный и традиционный (keyword-based) методы. Это позволяет системам RAG эффективнее работать с неструктурированными данными, где векторные модели могут терять контекст, а текстовый поиск — не учитывать семантику. Встроенный алгоритм автоматически балансирует веса обоих методов, повышая точность ответов в сложных сценариях, таких как юридические документы или технические спецификации.

Второй критический элемент — автоматическая оптимизация пайплайнов. Движок теперь способен самостоятельно анализировать качество извлечения данных и корректировать параметры индексации, выборки и ретриева. Это снижает потребность в ручной настройке, которая ранее требовала от инженеров глубокого понимания архитектуры RAG и значительного времени на тестирование.

Бизнес-импликация и открытость

Для бизнеса выпуск LlamaIndex 4.0 означает возможность быстрее внедрять RAG-системы в производственные процессы с меньшими операционными затратами. Открытый код проекта позволяет компаниям адаптировать движок под свои специфические задачи, не завися от проприетарных решений вендоров.

«Мы создали инструмент, который делает RAG доступным не только для крупных технологических компаний, но и для среднего бизнеса», — заявил в комментарии основатель LlamaIndex Джерри Лью.

Источник новости: LlamaIndex Official Blog.