Voi construi un agent AI sau un chatbot care răspunde din propriile documente

Problema cu majoritatea chatbot-urilor de documente

Sunt încrezătoare. Puneți o întrebare la care documentele nu răspund și un sistem naiv inventează un răspuns plauzibil, ceea ce este mai rău decât niciun răspuns atunci când documentele sunt contracte, politici sau proceduri de suport.

Ce construiesc în schimb

Recuperare mai întâi, generare în al doilea rând. Documentele dvs. sunt împărțite în bucăți cu structura păstrată — titlurile rămân atașate paragrafelor pe care le introduc, tabelele nu sunt fragmentate în fragmente fără sens. Fiecare bucată poartă sursa, pagina și secțiunea. Recuperarea utilizează căutarea hibridă: încorporări dense pentru semnificație, căutare prin cuvinte cheie pentru identificatorii exacți pe care încorporările îi ratează, cum ar fi numerele de piese, referințele de clauze și nume.

Modelul este instruit să răspundă numai din pasajele recuperate și să le citeze. Dacă recuperarea nu returnează nimic peste un prag de încredere, agentul o spune și oferă să escaladeze. Acest comportament este configurabil, dar este cel implicit, deoarece este comportamentul care vă ține departe de probleme.

Ce primești

• Conductă de ingestie pentru PDF, DOCX, HTML și text simplu, cu reindexare atunci când documentele se modifică.
• Un serviciu de recuperare cu un set de evaluare de întrebări reale și acuratețe măsurată, astfel încât calitatea este un număr, nu o opinie.
• O interfață: widget de chat, punct final API sau ambele.
• Înregistrarea fiecărei întrebări, a pasajelor recuperate și a răspunsului — astfel încât greșelile să poată fi urmărite.

Ce am nevoie

Un eșantion de documente, douăzeci de întrebări reale pe care le pun utilizatorii dvs. și răspunsul pe care l-ați da la fiecare. Aceste douăzeci devin suita de testare care demonstrează că agentul funcționează înainte de a vă baza pe el.

Implementare

Rulează pe infrastructura dvs. sau în cloud, cu furnizorul de model interschimbabil. Dacă documentele nu pot părăsi rețeaua dvs., voi planifica un model local în schimb.

Timp de execuție și comunicare

Straturile de ingestie și recuperare funcționează de obicei pe documentele dvs. într-o săptămână, cu setul de evaluare de douăzeci de întrebări care arată unde se află acuratețea înainte ca orice să fie expus utilizatorilor. Raportez scorul, nu o impresie, și fiecare modificare a recuperării este măsurată pe același set, astfel încât îmbunătățirea este vizibilă și regresia este detectată. Dacă documentele sunt mai dezordonate decât se aștepta, aceasta este o constatare pe care o obțineți în primele zile, nu la sfârșit.