Ich werde einen KI-Agenten oder Chatbot entwickeln, der aus Ihren eigenen Dokumenten antwortet

Das Problem mit den meisten Dokumenten-Chatbots

Sie sind zuversichtlich. Wenn Sie eine Frage stellen, die die Dokumente nicht beantworten, erfindet ein naives System eine plausible Antwort, was schlimmer ist als gar keine Antwort, wenn es sich bei den Dokumenten um Verträge, Richtlinien oder Support-Verfahren handelt.

Was ich stattdessen baue

Zuerst Abruf, dann Generierung. Ihre Dokumente werden mit erhaltener Struktur in Chunks zerlegt – Überschriften bleiben den Absätzen zugeordnet, die sie einführen, Tabellen werden nicht in bedeutungslose Fragmente zerlegt. Jeder Chunk enthält seine Quelle, Seite und seinen Abschnitt. Der Abruf verwendet eine hybride Suche: dichte Embeddings für die Bedeutung, Stichwortsuche für die exakten Identifikatoren, die Embeddings übersehen, wie Teilenummern, Klauselreferenzen und Namen.

Das Modell ist angewiesen, nur aus den abgerufenen Passagen zu antworten und diese zu zitieren. Wenn der Abruf nichts über einem Konfidenzschwellenwert zurückgibt, sagt der Agent dies und bietet eine Eskalation an. Dieses Verhalten ist konfigurierbar, aber es ist die Standardeinstellung, da es das Verhalten ist, das Sie vor Problemen bewahrt.

Was Sie bekommen

• Erfassungspipeline für PDF, DOCX, HTML und einfachen Text, mit Neuindizierung bei Dokumentenänderungen.
• Ein Abrufdienst mit einem Evaluierungssatz realer Fragen und gemessener Genauigkeit, sodass Qualität eine Zahl und keine Meinung ist.
• Eine Schnittstelle: Chat-Widget, API-Endpunkt oder beides.
• Protokollierung jeder Frage, der abgerufenen Passagen und der Antwort – damit Fehler nachvollzogen werden können.

Was ich brauche

Eine Auswahl der Dokumente, zwanzig echte Fragen, die Ihre Benutzer stellen, und die Antwort, die Sie auf jede geben würden. Diese zwanzig werden zur Testsuite, die beweist, dass der Agent funktioniert, bevor Sie sich darauf verlassen.

Bereitstellung

Läuft auf Ihrer Infrastruktur oder in der Cloud, mit austauschbarem Modellanbieter. Wenn die Dokumente Ihr Netzwerk nicht verlassen dürfen, plane ich stattdessen ein lokales Modell.

Bearbeitungszeit und Kommunikation

Die Erfassungs- und Abrufschichten arbeiten in der Regel innerhalb einer Woche mit Ihren Dokumenten, wobei der Evaluierungssatz von zwanzig Fragen zeigt, wo die Genauigkeit steht, bevor etwas den Benutzern zugänglich gemacht wird. Ich berichte die Punktzahl und nicht einen Eindruck, und jede Änderung am Abruf wird gegen denselben Satz gemessen, sodass Verbesserungen sichtbar sind und Regressionen erkannt werden. Wenn die Dokumente unordentlicher sind als erwartet, ist das eine Erkenntnis, die Sie in den ersten Tagen erhalten, nicht am Ende.