Építek egy RAG chatbotot, amely a dokumentumaidból válaszol, és megmutatja a forrást

A válaszaid már ott vannak a dokumentumaidban: visszaküldési szabályzatok, termékleírások, árlisták, szerződések, súgó-központ cikkek. Építek egy chatbotot, amely először ezeket a fájlokat keresi, és csak abból válaszol, amit talál, megjelölve a fájlt és az oldalt vagy szakaszt minden válasz mögött. Ha a dokumentumok nem fednek le egy kérdést, akkor azt mondja, ahelyett, hogy találgatna.

A Starter akár 50 fájlt (szöveges PDF, Word, egyszerű szöveg vagy nyilvános weboldalak) indexel egy egyszerű webes chat mögött, útmutatóval a saját tárhelyeden való futtatásához. A Standard akár 300 fájlt is kezel, hozzáad egy chat widgetet a webhelyedhez vagy egy Telegram botot és chat előzményeket, és én beállítom a szervereden. Az Advanced a saját Postgres vagy Supabase alkalmazásodba integrálódik felhasználói bejelentkezésekkel és hozzáférési szabályokkal, így minden felhasználó csak azokat a dokumentumokat látja, amelyekhez hozzáférhet, vagy a szervereden fut egy helyi modellel, így a fájljaid soha nem kerülnek AI szolgáltatóhoz.

Minden csomag a kérdéseid akár 20 részének tesztelésével zárul. Kapsz egy táblázatot minden válasszal, a felhasznált forrással és azzal, hogy helyes volt-e; ezután egy javítási kört végzek, és újra lefuttatom a kérdéseket. A forráskód a tiéd, és a bot a saját OpenAI, Claude vagy Gemini kulcsodon fut, így minden kérést látsz a szolgáltatód számláján, és nekem nem fizetsz havi díjat.

A keresési indexet egy kis modell építi, amely a bottal együtt fut, és PostgreSQL-ben tárolódik pgvectorral, így a fájljaid nem kerülnek az AI szolgáltatóhoz, és egy Postgres vagy Supabase alkalmazásnak nincs szüksége külön vektor szolgáltatásra. Legutóbbi munka: egy választási kereskedési pult éles Supabase backendjének vektoros keresési rétege, szűrt hasonlósági kereséssel és csak csapatra vonatkozó hozzáférési szabályokkal, plusz óránkénti LLM összefoglalók, amelyeket tárolás előtt ellenőriznek.

A szállítás után 14 napig ingyenesen javítok mindent, ami nem működik a megbeszéltek szerint.

Nincs hívás. A hatókör írásban kerül rögzítésre, mielőtt elkezdem, és minden munkanap végén írásos frissítést kapsz.

A projekt befejezésének lépései
1. Kérdések és dokumentumok – Elküldöd a fájlokat és azokat a kérdéseket, amelyeket az emberek valójában feltesznek. Írásban megerősítem, mire fog válaszolni a chatbot, hol fog élni, és melyik szolgáltatón fut.
2. Indexelés és keresés – Felosztom a dokumentumokat szakaszokra, indexelem őket egy kis beágyazási modellel, amely a bottal együtt fut, és tárolom őket PostgreSQL-ben pgvectorral, megőrizve minden szakasz fájlját és oldalát vagy szakaszát.
3. Válaszok forrásokkal – A chatbot csak a visszakeresett szakaszokból válaszol, és egyértelműen jelzi, ha a dokumentumok nem fednek le egy kérdést.
4. Tesztelés a kérdéseiden – Akár 20 kérdésed is átmegy rajta, és megkapod a válaszok, források és eredmények táblázatát, majd egy javítási kört.
5. Átadás – Forráskód, egy rövid útmutató a futtatásához, és a Standard vagy Advanced csomagok esetén a widget, a Telegram bot vagy az alkalmazásintegráció, beállítva a szervereden és ellenőrizve.