IT & RAG / Архитектура RAG
Mixedbread утверждает: замена поискового слоя подняла точность ИИ-агента хедж-фонда с 36% до 98%
Основатель Mixedbread Амир Шакир заявил, что узким местом для корпоративных ИИ-агентов является не интеллект моделей, а доступ к данным. Замена стандартного конвейера RAG на мультимодальный поиск с поздним взаимодействием позволила крупному хедж-фонду повысить точность ответов с 36% до 98% при сокращении затрат на токены в три раза.
Сводка
Главное за 15 секунд
- Mixedbread утверждает, что замена поискового слоя RAG подняла точность ИИ-агента хедж-фонда с 36% до 98% и сократила затраты на токены в 3 раза.
- Основатель Амир Шакир называет доступ к данным, а не интеллект модели, главным узким местом корпоративных агентов.
- Предсказывается «анбандлинг интеллекта и данных»: стандартизация слоя извлечения под свободный выбор пограничных моделей.
- Параллельно эксперты ACM продвигают Edge RAG для регулируемых финансов, перенося извлечение и генерацию на устройство пользователя.
Проблема не в модели, а в поиске
На подкасте AI Engineer Шакир представил технический кейс: традиционный RAG-стек — OCR, чанкинг, одновекторные эмбеддинги, векторная БД — размывает визуально похожие документы, такие как отчеты NVIDIA за разные годы. Агенты либо ошибаются, либо тратят токены на повторные запросы. По словам основателя, их агентская модель поиска Toast One сопоставима с конкурентами Astra и Fable, но работает в 40 раз быстрее и дешевле.
Разделение интеллекта и данных
Шакир предсказывает «анбандлинг интеллекта и данных»: предприятия будут свободно выбирать пограничные модели, а стандартизируют слой извлечения под ними. Для инвесторов это перекладывает акцент создания стоимости с самих моделей на инфраструктуру доступа к данным, которую банки и фонды покупают из-за требований комплаенса и политики нулевого хранения данных.
Контекст: Edge RAG и суверенные агенты
Параллельно в Communications of the ACM Мураликришна Вирамошу описывает переход к Edge RAG в регулируемых финансах: передача лет конфиденциальных логов в облачные LLM создает недопустимые риски по GDPR, GLBA и DORA. Решение — запускать извлечение и генерацию локально на устройстве пользователя, полностью отказавшись от облачного конвейера. Это усиливает тезис о том, что архитектура доступа к данным становится критичнее размера модели.
Ограничения заявлений
Все приведенные цифры — вендорные бенчмарки одного безымянного заказчика. Независимая верификация точности 98% и экономии токенов пока отсутствует. Тем не менее, технический аргумент проверяем: одновекторный RAG действительно теряет различия между похожими документами, а позднее взаимодействие (late interaction) сохраняет токен-уровневую гранулярность до этапа ранжирования.
Обсуждение
Комментарии
Войдите через Google или Telegram, чтобы участвовать в обсуждении.