От сырых данных к надежным выводам

OpenAI опубликовала результаты работы над BioBasicsBench — набором из ста тестов, моделирующих повседневную работу в мокром биолаборатории. В отличие от академических бенчмарков на чистых датасетах, новый инструмент использует реальные экспериментальные данные: электрофоретические гели, спектры флуоресценции, результаты клонирования ДНК. Модели должны не просто дать ответ, а распознать неудачный контроль, заметить противоречивые наблюдения и признать, когда доказательной базы недостаточно для заключения.

Партнерство с Ligo Biosciences

Стартап Ligo Biosciences, специализирующийся на дизайне ферментов, предоставил исходные данные из собственных экспериментов. Каждый из ста вопросов сопровождается детальными критериями оценки, а весь набор прошел трехкратную ревизию ученых. В примере, приведенном OpenAI, ведущая модель правильно идентифицировала полосы на агарозном геле, но перепутала интерпретацию контрольных образцов и рекомендовала колонии, сохраняющие исходный плазмидный вектор — ошибка, стоившая бы исследователю дня работы.

Почему это важно для индустрии

Текущие LLM показывают высокие результаты на структурированных задачах, но теряются в шумных, неполных данных реальной науки. BioBasicsBench смещает фокус с генерации текста на понимание экспериментальной неопределенности. OpenAI планирует расширить набор задач и открыть доступ к оценке для сторонних разработчиков, что может стать стандартом для валидации ИИ-ассистентов в фармацевтике и синтетической биологии.

Источник новости: Research & Development World