IT & RAG / Модели LLM & SLM
OpenAI представила BioBasicsBench — бенчмарк для оценки ИИ в рутинных биотехнологических экспериментах
OpenAI анонсировала новый тест BioBasicsBench, проверяющий способность языковых моделей интерпретировать сырые данные из 100 стандартных лабораторных задач. Разработку провели совместно со стартапом Ligo Biosciences.
Сводка
Главное за 15 секунд
- OpenAI запустила BioBasicsBench — бенчмарк из 100 задач рутинной мокрой лаборатории для тестирования ИИ-агентов
- Тест использует реальные экспериментальные данные: гели, спектры, результаты клонирования, а не чистые датасеты
- Разработка велась совместно со стартапом Ligo Biosciences, каждый вопрос имеет критерии оценки и прошел ревизию ученых
- Цель — проверить умение моделей находить ошибки контролов, распознавать неопределенность и не галлюцинировать выводы
От сырых данных к надежным выводам
OpenAI опубликовала результаты работы над BioBasicsBench — набором из ста тестов, моделирующих повседневную работу в мокром биолаборатории. В отличие от академических бенчмарков на чистых датасетах, новый инструмент использует реальные экспериментальные данные: электрофоретические гели, спектры флуоресценции, результаты клонирования ДНК. Модели должны не просто дать ответ, а распознать неудачный контроль, заметить противоречивые наблюдения и признать, когда доказательной базы недостаточно для заключения.
Партнерство с Ligo Biosciences
Стартап Ligo Biosciences, специализирующийся на дизайне ферментов, предоставил исходные данные из собственных экспериментов. Каждый из ста вопросов сопровождается детальными критериями оценки, а весь набор прошел трехкратную ревизию ученых. В примере, приведенном OpenAI, ведущая модель правильно идентифицировала полосы на агарозном геле, но перепутала интерпретацию контрольных образцов и рекомендовала колонии, сохраняющие исходный плазмидный вектор — ошибка, стоившая бы исследователю дня работы.
Почему это важно для индустрии
Текущие LLM показывают высокие результаты на структурированных задачах, но теряются в шумных, неполных данных реальной науки. BioBasicsBench смещает фокус с генерации текста на понимание экспериментальной неопределенности. OpenAI планирует расширить набор задач и открыть доступ к оценке для сторонних разработчиков, что может стать стандартом для валидации ИИ-ассистентов в фармацевтике и синтетической биологии.
Источник новости: Research & Development World
Обсуждение
Комментарии
Войдите через Google или Telegram, чтобы участвовать в обсуждении.