Открытые модели снова давят на рынок закрытых API
Новые релизы open source LLM ускоряют конкуренцию вокруг стоимости inference, доступности весов и корпоративного контроля над данными.
Рубрика
IT & RAG
LLM-инженерия, RAG, open source модели, API и инфраструктура.
Лента
Страница 1 из 2 RAG без eval превращается в поиск с красивым интерфейсом
Команды внедряют retrieval augmented generation, но часто поздно добавляют проверку полноты, релевантности и устойчивости ответов.
Малые модели возвращают edge-inference в продуктовые обсуждения
Компактные модели дают шанс запускать часть сценариев ближе к пользователю, но требуют жёсткого выбора задач и контроля качества.
Freshness budget для RAG показывает, когда база знаний устаревает
RAG-система должна измерять возраст документов, скорость обновления индекса и долю ответов на устаревших источниках.
Chunking в RAG нельзя выбирать без evaluation-набора
Размер фрагмента влияет на полноту ответа, цитирование и стоимость retrieval, поэтому нужен небольшой, но стабильный набор вопросов.
Цитирование источников в RAG должно быть quality gate, а не украшением
Если система не показывает, какой документ поддерживает ответ, редактор не может быстро проверить риск галлюцинации.
Контекст рубрики
IT & RAG — технический раздел DigestAI для разработчиков, ML/LLM-инженеров и CTO. Здесь собраны новости о моделях, retrieval augmented generation, inference, API, open source проектах, бенчмарках и практических ограничениях внедрения.