あなたのドキュメントから回答するAIエージェントまたはチャットボットを構築します

ほとんどのドキュメントチャットボットの問題点

彼らは自信を持っています。ドキュメントが回答しない質問をすると、素朴なシステムはもっともらしい回答をでっち上げます。これは、ドキュメントが契約、ポリシー、またはサポート手順である場合、まったく回答がないよりも悪いことです。

代わりに私が構築するもの

検索が最初、生成が次です。ドキュメントは構造を保持したままチャンク化されます。見出しは導入する段落に付随し、テーブルは意味のない断片に細断されません。各チャンクは、そのソース、ページ、セクションを保持します。検索にはハイブリッド検索を使用します。意味には高密度埋め込み、埋め込みが見逃す部品番号、条項参照、名前などの正確な識別子にはキーワード検索を使用します。

モデルは、取得されたパッセージからのみ回答し、それらを引用するように指示されます。取得が信頼度しきい値を超えるものを返さない場合、エージェントはその旨を伝え、エスカレートを提案します。この動作は設定可能ですが、問題を防ぐための動作であるため、デフォルトです。

得られるもの

• PDF、DOCX、HTML、プレーンテキストの取り込みパイプライン。ドキュメントが変更された場合の再インデックス付け機能付き。
• 実際の質問と測定された精度を含む評価セットを備えた検索サービス。これにより、品質は意見ではなく数値になります。
• インターフェース：チャットウィジェット、APIエンドポイント、またはその両方。
• すべての質問、取得されたパッセージ、および回答のロギング。これにより、間違いを追跡できます。

必要なもの

ドキュメントのサンプル、ユーザーが尋ねる20の実際の質問、およびそれぞれの質問に対するあなたの回答。これら20の質問は、エージェントが機能することを証明するためのテストスイートになります。

デプロイメント

お客様のインフラストラクチャまたはクラウドで実行され、モデルベンダーは交換可能です。ドキュメントがネットワーク外に出られない場合は、代わりにローカルモデルを計画します。

納期とコミュニケーション

取り込み層と検索層は通常、1週間以内にお客様のドキュメントに対して機能し、20問の評価セットは、ユーザーに公開される前に精度がどこにあるかを示します。私は印象ではなくスコアを報告し、検索へのすべての変更は同じセットに対して測定されるため、改善が目に見え、回帰が検出されます。ドキュメントが予想よりも乱雑な場合、それは最終段階ではなく、最初の数日で得られる発見です。