Crearé un agente de IA o un chatbot que responda a partir de tus propios documentos

El problema con la mayoría de los chatbots de documentos

Son confiados. Haz una pregunta que los documentos no respondan y un sistema ingenuo inventa una respuesta plausible, lo cual es peor que ninguna respuesta cuando los documentos son contratos, políticas o procedimientos de soporte.

Lo que construyo en su lugar

Primero la recuperación, luego la generación. Tus documentos se dividen en fragmentos conservando la estructura: los encabezados permanecen adjuntos a los párrafos que introducen, las tablas no se desmenuzan en fragmentos sin sentido. Cada fragmento lleva su fuente, página y sección. La recuperación utiliza búsqueda híbrida: incrustaciones densas para el significado, búsqueda por palabras clave para los identificadores exactos que las incrustaciones no detectan, como números de pieza, referencias de cláusulas y nombres.

El modelo está instruido para responder solo a partir de los pasajes recuperados y para citarlos. Si la recuperación no devuelve nada por encima de un umbral de confianza, el agente lo indica y ofrece escalar. Ese comportamiento es configurable, pero es el predeterminado porque es el comportamiento que te evita problemas.

Lo que obtienes

• Tubería de ingesta para PDF, DOCX, HTML y texto sin formato, con reindexación cuando los documentos cambian.
• Un servicio de recuperación con un conjunto de evaluación de preguntas reales y precisión medida, para que la calidad sea un número en lugar de una opinión.
• Una interfaz: widget de chat, punto final de API o ambos.
• Registro de cada pregunta, los pasajes recuperados y la respuesta, para que los errores puedan ser rastreados.

Lo que necesito

Una muestra de los documentos, veinte preguntas reales que hacen tus usuarios y la respuesta que darías a cada una. Esas veinte se convierten en el conjunto de pruebas que demuestra que el agente funciona antes de que confíes en él.

Implementación

Se ejecuta en tu infraestructura o en la nube, con el proveedor del modelo intercambiable. Si los documentos no pueden salir de tu red, planificaré un modelo local en su lugar.

Tiempo de respuesta y comunicación

Las capas de ingesta y recuperación suelen funcionar con tus documentos en una semana, con el conjunto de evaluación de veinte preguntas mostrando dónde se encuentra la precisión antes de que se exponga algo a los usuarios. Informo la puntuación en lugar de una impresión, y cada cambio en la recuperación se mide con el mismo conjunto para que la mejora sea visible y se detecte la regresión. Si los documentos son más desordenados de lo esperado, ese es un hallazgo que obtienes en los primeros días, no al final.