Точный, но опасно неполный: как AI учится быть надёжным в праве

Точность — необходимое, но не достаточное условие

В большинстве отраслей, когда говорят об AI-качестве, имеют в виду точность (accuracy). Модель предсказала правильно? Отлично. Но VentureBeat публикует разговор с Мин Чен — SVP и директором по AI компании LexisNexis — который переворачивает эту логику. В сложных профессиональных доменах, таких как право, точность — это лишь входной билет. Настоящая планка — это полнота.

Представьте: пользователь задаёт юридический вопрос, требующий анализа пяти правовых аспектов. AI точно отвечает на три из них. Ответ не содержит ни одной ошибки. Но он неполный. И для юриста это означает риск: клиент может принять решение, основанное на неполной правовой картине. «Полнота говорит напрямую о юридической надёжности», — формулирует Чен.

Проблема «авторитетности» в праве

Стандартный векторный поиск отлично справляется с семантической релевантностью — он находит документы, похожие на запрос по смыслу. Но в праве этого мало. Документ может быть семантически близок к запросу — и при этом ссылаться на прецедент, который суд впоследствии отменил. Такую ссылку юрист не процитирует. Значит, она бесполезна — даже если технически «релевантна».

LexisNexis решает это через граф «точек права»: поверх векторного поиска выстраивается граф, который фильтрует результаты не только по релевантности, но и по авторитетности источника. Это позволяет отсеять документы, которые выглядят подходящими, но не пройдут юридическую проверку.

Эволюция архитектуры: от RAG к агентным графам

LexisNexis прошла несколько итераций:

• 2023 — Lexis+ AI: стандартный RAG на основе гибридного векторного поиска, заземлённого в собственной базе знаний LexisNexis
• 2024 — Protégé: персональный юридический ассистент с добавлением графового слоя поверх семантического поиска для фильтрации по авторитетности
• 2025–2026 — агентные графы: системы с «planner agent» и «reflection agent», способные планировать многошаговые задачи и критиковать собственные результаты

Это не просто техническая эволюция — это смена парадигмы: от «найти похожее» к «найти правильное и убедиться, что оно полное».

Как работают planner и reflection агенты

Planner agent берёт сложный пользовательский вопрос и декомпозирует его на серию подвопросов. Пользователь может просмотреть и отредактировать эти подвопросы перед тем, как агент начнёт поиск — это добавляет человеческий контроль на критическом этапе.

Reflection agent работает иначе: он генерирует первичный черновик документа, затем автоматически критикует его («что здесь неполно? что юридически рискованно?»), и на основе этой критики дорабатывает ответ в реальном времени. По сути, это модель, которая встроила в себя внутреннего рецензента.

Человек в центре, а не на обочине

Принципиальная позиция Чен: всё это не для того, чтобы убрать юристов из процесса. Цель — создать среду, где эксперты и AI агенты учатся, рассуждают и растут вместе. Юрист остаётся тем, кто принимает решение. AI — тем, кто делает это решение более информированным и менее рискованным.

Это важный сигнал для рынка: самые серьёзные enterprise-применения AI не строятся на замене человека. Они строятся на усилении человеческой экспертизы в точках, где ошибка стоит дорого.

Метрики нового поколения

Команда LexisNexis разработала более шести «субметрик» для оценки полезности AI-ответов:

• Авторитетность источника
• Точность цитирования
• Уровень галлюцинаций
• Полнота охвата всех аспектов вопроса
• Релевантность к конкретному правовому контексту

Эти метрики заменяют простой «accuracy score» комплексной оценкой юридической надёжности — и это, по сути, новый стандарт для профессиональных AI-систем.

Вывод редактора

История LexisNexis — это учебник по тому, как строить AI в сферах с высокими ставками. Не «запустить ChatGPT с контекстом», а спроектировать систему с осознанием собственных пределов. В праве, медицине, финансах неполный правильный ответ — это другое название для опасного ответа. Пока большинство компаний ещё соревнуются за accuracy, LexisNexis уже соревнуется за completeness. Это следующий уровень — и именно туда движется профессиональный AI.