Я создам ИИ-агента или чат-бота, который будет отвечать на основе ваших собственных документов

Проблема большинства чат-ботов по документам

Они уверены. Задайте вопрос, на который документы не отвечают, и наивная система изобретет правдоподобный ответ, что хуже, чем отсутствие ответа вообще, когда документы являются контрактами, политиками или процедурами поддержки.

Что я строю вместо этого

Сначала извлечение, затем генерация. Ваши документы разбиваются на части с сохранением структуры — заголовки остаются прикрепленными к абзацам, которые они вводят, таблицы не разбиваются на бессмысленные фрагменты. Каждый фрагмент содержит свой источник, страницу и раздел. Извлечение использует гибридный поиск: плотные вложения для смысла, поиск по ключевым словам для точных идентификаторов, которые пропускают вложения, таких как номера деталей, ссылки на пункты и имена.

Модели дается указание отвечать только на основе извлеченных отрывков и цитировать их. Если извлечение не возвращает ничего выше порога уверенности, агент сообщает об этом и предлагает эскалировать. Такое поведение настраивается, но оно является поведением по умолчанию, потому что оно помогает избежать проблем.

Что вы получаете

• Конвейер ввода для PDF, DOCX, HTML и обычного текста с переиндексацией при изменении документов.
• Служба извлечения с набором реальных вопросов для оценки и измеренной точностью, так что качество — это число, а не мнение.
• Интерфейс: виджет чата, конечная точка API или и то, и другое.
• Логирование каждого вопроса, извлеченных отрывков и ответа — чтобы можно было отследить ошибки.

Что мне нужно

Образец документов, двадцать реальных вопросов, которые задают ваши пользователи, и ответ, который вы бы дали на каждый из них. Эти двадцать станут тестовым набором, который докажет работоспособность агента, прежде чем вы начнете на него полагаться.

Развертывание

Работает на вашей инфраструктуре или в облаке, с взаимозаменяемым поставщиком модели. Если документы не могут покинуть вашу сеть, я вместо этого запланирую локальную модель.

Сроки выполнения и общение

Уровни ввода и извлечения обычно работают с вашими документами в течение недели, при этом набор из двадцати вопросов для оценки показывает, какова точность, прежде чем что-либо будет показано пользователям. Я сообщаю оценку, а не впечатление, и каждое изменение в извлечении измеряется по тому же набору, так что улучшение видно, а регрессия отслеживается. Если документы оказались более запутанными, чем ожидалось, это обнаруживается в первые дни, а не в конце.