Открытые модели снова давят на рынок закрытых API
Новые релизы open source LLM ускоряют конкуренцию вокруг стоимости inference, доступности весов и корпоративного контроля над данными.
Тег
Следим за релизами моделей, инфраструктурой inference, лицензиями, бенчмарками и реальными кейсами внедрения LLM.
Новые релизы open source LLM ускоряют конкуренцию вокруг стоимости inference, доступности весов и корпоративного контроля над данными.
Ежедневная сводка показывает, какие изменения в моделях, инфраструктуре и правилах могут повлиять на команды в ближайшие недели.
Команды внедряют retrieval augmented generation, но часто поздно добавляют проверку полноты, релевантности и устойчивости ответов.
Компактные модели дают шанс запускать часть сценариев ближе к пользователю, но требуют жёсткого выбора задач и контроля качества.
История запросов помогает улучшать продукт, но может хранить персональные данные, коммерческие секреты и чувствительный контекст.
RAG-система должна измерять возраст документов, скорость обновления индекса и долю ответов на устаревших источниках.
Размер фрагмента влияет на полноту ответа, цитирование и стоимость retrieval, поэтому нужен небольшой, но стабильный набор вопросов.
Если система не показывает, какой документ поддерживает ответ, редактор не может быстро проверить риск галлюцинации.
Смена модели или prompt-шаблона должна проходить через набор вопросов, источников и ожидаемых ограничений.