Ik bouw een AI-agent of chatbot die antwoorden geeft op basis van uw eigen documenten

Het probleem met de meeste documentchatbots

Ze zijn zelfverzekerd. Stel een vraag die de documenten niet beantwoorden en een naïef systeem verzint een plausibel antwoord, wat erger is dan helemaal geen antwoord wanneer de documenten contracten, beleidsregels of ondersteuningsprocedures zijn.

Wat ik in plaats daarvan bouw

Eerst ophalen, dan genereren. Uw documenten worden in stukken verdeeld met behoud van structuur — koppen blijven gekoppeld aan de paragrafen die ze introduceren, tabellen worden niet versnipperd tot betekenisloze fragmenten. Elk stuk draagt zijn bron, pagina en sectie. Het ophalen maakt gebruik van hybride zoeken: dichte embeddings voor betekenis, trefwoordzoeken voor de exacte identificatoren die embeddings missen, zoals onderdeelnummers, clausuleverwijzingen en namen.

Het model krijgt de instructie om alleen te antwoorden op basis van de opgehaalde passages en deze te citeren. Als het ophalen niets boven een vertrouwensdrempel oplevert, zegt de agent dit en biedt het aan om de kwestie te escaleren. Dit gedrag is configureerbaar, maar het is de standaard omdat het het gedrag is dat u uit de problemen houdt.

Wat u krijgt

• Opnamepijplijn voor PDF, DOCX, HTML en platte tekst, met herindexering wanneer documenten wijzigen.
• Een ophaalservice met een evaluatieset van echte vragen en gemeten nauwkeurigheid, zodat kwaliteit een getal is in plaats van een mening.
• Een interface: chatwidget, API-eindpunt, of beide.
• Logging van elke vraag, de opgehaalde passages en het antwoord — zodat fouten kunnen worden opgespoord.

Wat ik nodig heb

Een voorbeeld van de documenten, twintig echte vragen die uw gebruikers stellen, en het antwoord dat u op elk daarvan zou geven. Die twintig worden de testsuite die bewijst dat de agent werkt voordat u erop vertrouwt.

Deployment

Draait op uw infrastructuur of in de cloud, met de modelleverancier uitwisselbaar. Als de documenten uw netwerk niet mogen verlaten, plan ik in plaats daarvan een lokaal model.

Doorlooptijd en communicatie

De opname- en ophaallagen werken meestal binnen een week met uw documenten, waarbij de evaluatieset van twintig vragen laat zien hoe de nauwkeurigheid is voordat iets aan gebruikers wordt blootgesteld. Ik rapporteer de score in plaats van een indruk, en elke wijziging in het ophalen wordt gemeten aan de hand van dezelfde set, zodat verbetering zichtbaar is en regressie wordt opgemerkt. Als de documenten rommeliger zijn dan verwacht, is dat een bevinding die u in de eerste dagen krijgt, niet aan het einde.