Проблема фальсифицированных ссылок

Распространение больших языковых моделей в юридической практике привело к росту случаев, когда ИИ подставляет в документы несуществующие судебные прецеденты. Адвокаты и судебные чиновники сталкиваются с необходимостью вручную проверять каждую цитату, что замедляет работу и создает риски для правопорядка. Исследователи Georgia Tech оценили масштаб проблемы, проанализировав 26 публичных судебных документов, содержащих ложные ссылки.

Открытое решение на базе фреймворка Mellea

В ответ на вызов команда магистрантов Адриана Лосада и Ди Ву под руководством Центра научного программного обеспечения (CSSE) и офиса открытых программ (OSPO) Georgia Tech создала Mellea Legal Requirements Checker (Mellea-LRC). Инструмент использует фреймворк Mellea от IBM, который делает вызовы моделей предсказуемыми: правила выходных данных задаются обычным кодом, а система повторяет генерацию до выполнения условий. Mellea-LRC извлекает цитаты из документа, проверяет их подлинность и соответствие контексту, а затем выдает отчет о достоверности. Обработка одного документа занимает около восьми минут. Код и тестовый набор данных опубликованы на GitHub и Hugging Face для дальнейшего бенчмаркинга и доработки сообществом.