Gagawa ako ng AI agent o chatbot na sumasagot mula sa sarili mong mga dokumento

Ang problema sa karamihan ng mga chatbot ng dokumento

Kumpiyansa sila. Magtanong ng isang tanong na hindi sinasagot ng mga dokumento at ang isang naive system ay gumagawa ng isang kapani-paniwalang tugon, na mas masahol pa kaysa sa walang sagot kung ang mga dokumento ay mga kontrata, patakaran o pamamaraan ng suporta.

Ano ang ginagawa ko sa halip

Pagkuha muna, pagbuo pangalawa. Ang iyong mga dokumento ay hinahati na may istraktura na pinananatili — ang mga heading ay nananatiling nakakabit sa mga talata na kanilang ipinakilala, ang mga talahanayan ay hindi pinupunit sa walang kabuluhang mga fragment. Ang bawat bahagi ay nagdadala ng pinagmulan, pahina at seksyon nito. Gumagamit ang pagkuha ng hybrid search: siksik na embeddings para sa kahulugan, keyword search para sa eksaktong mga identifier na hindi nakuha ng embeddings, tulad ng mga numero ng bahagi, mga sanggunian sa sugnay at mga pangalan.

Ang modelo ay inutusan na sumagot lamang mula sa mga nakuha na sipi, at banggitin ang mga ito. Kung walang nakuha ang pagkuha na higit sa isang threshold ng kumpiyansa, sinasabi ng ahente at nag-aalok na i-escalate. Ang pag-uugaling iyon ay maaaring i-configure, ngunit ito ang default dahil ito ang pag-uugali na nagpapanatili sa iyo mula sa gulo.

Ano ang makukuha mo

• Ingestion pipeline para sa PDF, DOCX, HTML at plain text, na may re-indexing kapag nagbago ang mga dokumento.
• Isang serbisyo ng pagkuha na may evaluation set ng mga tunay na tanong at sinusukat na katumpakan, kaya ang kalidad ay isang numero sa halip na isang opinyon.
• Isang interface: chat widget, API endpoint, o pareho.
• Pag-log ng bawat tanong, ang mga sipi na nakuha, at ang sagot — upang masubaybayan ang mga pagkakamali.

Ano ang kailangan ko

Isang sample ng mga dokumento, dalawampung tunay na tanong na tinatanong ng iyong mga user, at ang sagot na ibibigay mo sa bawat isa. Ang dalawampung iyon ang magiging test suite na nagpapatunay na gumagana ang ahente bago mo ito pagkatiwalaan.

Pag-deploy

Tumatakbo sa iyong imprastraktura o sa cloud, na may mapagpapalit na vendor ng modelo. Kung hindi maaaring umalis ang mga dokumento sa iyong network, magpaplano ako para sa isang lokal na modelo sa halip.

Turnaround at komunikasyon

Ang mga layer ng ingestion at retrieval ay karaniwang gumagana laban sa iyong mga dokumento sa loob ng isang linggo, na may dalawampung-tanong na evaluation set na nagpapakita kung saan nakatayo ang katumpakan bago mailantad ang anumang bagay sa mga user. Iniulat ko ang score sa halip na isang impresyon, at bawat pagbabago sa retrieval ay sinusukat laban sa parehong set upang makita ang pagpapabuti at mahuli ang regression. Kung ang mga dokumento ay mas magulo kaysa sa inaasahan, iyon ay isang natuklasan na makukuha mo sa mga unang araw, hindi sa huli.