IT & RAG / Модели LLM & SLM
Georgia Tech представила открытый инструмент Mellea-LRC для обнаружения галлюцинированных ИИ правовых ссылок
Команда Georgia Tech при поддержке IBM разработала открытую систему Mellea-LRC, которая за восемь минут проверяет юридические документы на наличие вымышленных судебных прецедентов, сгенерированных большими языковыми моделями.
Сводка
Главное за 15 секунд
- Georgia Tech и IBM выпустили открытый инструмент Mellea-LRC для автоматической проверки юридических цитирований на галлюцинации LLM.
- Система обрабатывает документ за ~8 минут, используя фреймворк Mellea для детерминированных вызовов моделей.
- Код и датасет для бенчмаркинга опубликованы на GitHub и Hugging Face.
- Проект решает растущую проблему фальсифицированных прецедентов в судебных документах, созданных ИИ.
Проблема фальсифицированных ссылок
Распространение больших языковых моделей в юридической практике привело к росту случаев, когда ИИ подставляет в документы несуществующие судебные прецеденты. Адвокаты и судебные чиновники сталкиваются с необходимостью вручную проверять каждую цитату, что замедляет работу и создает риски для правопорядка. Исследователи Georgia Tech оценили масштаб проблемы, проанализировав 26 публичных судебных документов, содержащих ложные ссылки.
Открытое решение на базе фреймворка Mellea
В ответ на вызов команда магистрантов Адриана Лосада и Ди Ву под руководством Центра научного программного обеспечения (CSSE) и офиса открытых программ (OSPO) Georgia Tech создала Mellea Legal Requirements Checker (Mellea-LRC). Инструмент использует фреймворк Mellea от IBM, который делает вызовы моделей предсказуемыми: правила выходных данных задаются обычным кодом, а система повторяет генерацию до выполнения условий. Mellea-LRC извлекает цитаты из документа, проверяет их подлинность и соответствие контексту, а затем выдает отчет о достоверности. Обработка одного документа занимает около восьми минут. Код и тестовый набор данных опубликованы на GitHub и Hugging Face для дальнейшего бенчмаркинга и доработки сообществом.
Обсуждение
Комментарии
Войдите через Google или Telegram, чтобы участвовать в обсуждении.