Проблема не в модели, а в поиске

На подкасте AI Engineer Шакир представил технический кейс: традиционный RAG-стек — OCR, чанкинг, одновекторные эмбеддинги, векторная БД — размывает визуально похожие документы, такие как отчеты NVIDIA за разные годы. Агенты либо ошибаются, либо тратят токены на повторные запросы. По словам основателя, их агентская модель поиска Toast One сопоставима с конкурентами Astra и Fable, но работает в 40 раз быстрее и дешевле.

Разделение интеллекта и данных

Шакир предсказывает «анбандлинг интеллекта и данных»: предприятия будут свободно выбирать пограничные модели, а стандартизируют слой извлечения под ними. Для инвесторов это перекладывает акцент создания стоимости с самих моделей на инфраструктуру доступа к данным, которую банки и фонды покупают из-за требований комплаенса и политики нулевого хранения данных.

Контекст: Edge RAG и суверенные агенты

Параллельно в Communications of the ACM Мураликришна Вирамошу описывает переход к Edge RAG в регулируемых финансах: передача лет конфиденциальных логов в облачные LLM создает недопустимые риски по GDPR, GLBA и DORA. Решение — запускать извлечение и генерацию локально на устройстве пользователя, полностью отказавшись от облачного конвейера. Это усиливает тезис о том, что архитектура доступа к данным становится критичнее размера модели.

Ограничения заявлений

Все приведенные цифры — вендорные бенчмарки одного безымянного заказчика. Независимая верификация точности 98% и экономии токенов пока отсутствует. Тем не менее, технический аргумент проверяем: одновекторный RAG действительно теряет различия между похожими документами, а позднее взаимодействие (late interaction) сохраняет токен-уровневую гранулярность до этапа ранжирования.