Creerò un agente AI o un chatbot che risponde dai tuoi documenti

Il problema con la maggior parte dei chatbot di documenti

Sono troppo sicuri. Poni una domanda a cui i documenti non rispondono e un sistema ingenuo inventa una risposta plausibile, il che è peggio di nessuna risposta quando i documenti sono contratti, politiche o procedure di supporto.

Cosa costruisco invece

Prima il recupero, poi la generazione. I tuoi documenti vengono suddivisi in blocchi con la struttura preservata — le intestazioni rimangono attaccate ai paragrafi che introducono, le tabelle non vengono frammentate in frammenti senza senso. Ogni blocco porta la sua fonte, pagina e sezione. Il recupero utilizza la ricerca ibrida: embedding densi per il significato, ricerca per parole chiave per gli identificatori esatti che gli embedding mancano, come numeri di parte, riferimenti a clausole e nomi.

Il modello è istruito a rispondere solo dai passaggi recuperati e a citarli. Se il recupero non restituisce nulla al di sopra di una soglia di confidenza, l'agente lo dichiara e offre di inoltrare. Questo comportamento è configurabile, ma è l'impostazione predefinita perché è il comportamento che ti tiene fuori dai guai.

Quello che ottieni

• Pipeline di acquisizione per PDF, DOCX, HTML e testo semplice, con re-indicizzazione quando i documenti cambiano.
• Un servizio di recupero con un set di valutazione di domande reali e accuratezza misurata, in modo che la qualità sia un numero piuttosto che un'opinione.
• Un'interfaccia: widget di chat, endpoint API o entrambi.
• Registrazione di ogni domanda, dei passaggi recuperati e della risposta — in modo che gli errori possano essere tracciati.

Cosa mi serve

Un campione dei documenti, venti domande reali che i tuoi utenti pongono e la risposta che daresti a ciascuna. Queste venti diventeranno la suite di test che dimostra che l'agente funziona prima che tu ti affidi ad esso.

Deployment

Funziona sulla tua infrastruttura o nel cloud, con il fornitore del modello intercambiabile. Se i documenti non possono lasciare la tua rete, pianificherò invece un modello locale.

Tempi di consegna e comunicazione

Gli strati di acquisizione e recupero di solito funzionano sui tuoi documenti entro una settimana, con il set di valutazione di venti domande che mostra l'accuratezza prima che qualsiasi cosa venga esposta agli utenti. Riporto il punteggio piuttosto che un'impressione, e ogni modifica al recupero viene misurata rispetto allo stesso set in modo che il miglioramento sia visibile e la regressione venga rilevata. Se i documenti sono più disordinati del previsto, è una scoperta che ottieni nei primi giorni, non alla fine.