귀하의 문서에서 답변하는 AI 에이전트 또는 챗봇을 구축하겠습니다.

대부분의 문서 챗봇의 문제점

그들은 자신감이 넘칩니다. 문서가 답변하지 않는 질문을 하면 순진한 시스템은 그럴듯한 답변을 만들어내는데, 이는 문서가 계약, 정책 또는 지원 절차일 때 전혀 답변이 없는 것보다 더 나쁩니다.

제가 대신 구축하는 것

검색 우선, 생성 나중. 문서가 구조를 보존한 채로 청크로 나뉩니다. 제목은 소개하는 단락에 연결되어 있고, 표는 의미 없는 조각으로 찢어지지 않습니다. 각 청크는 출처, 페이지 및 섹션을 포함합니다. 검색은 하이브리드 검색을 사용합니다. 의미를 위한 밀집 임베딩과 부품 번호, 조항 참조 및 이름과 같이 임베딩이 놓치는 정확한 식별자를 위한 키워드 검색입니다.

모델은 검색된 구절에서만 답변하고 이를 인용하도록 지시받습니다. 검색이 신뢰도 임계값 이상의 결과를 반환하지 않으면 에이전트는 그렇게 말하고 에스컬레이션을 제안합니다. 이 동작은 구성 가능하지만, 문제가 발생하지 않도록 하는 동작이므로 기본값입니다.

얻게 될 것

• 문서 변경 시 재인덱싱 기능이 있는 PDF, DOCX, HTML 및 일반 텍스트용 수집 파이프라인.
• 실제 질문과 측정된 정확도 평가 세트가 있는 검색 서비스로, 품질이 의견이 아닌 숫자가 됩니다.
• 인터페이스: 채팅 위젯, API 엔드포인트 또는 둘 다.
• 모든 질문, 검색된 구절 및 답변 로깅 — 실수를 추적할 수 있습니다.

필요한 것

문서 샘플, 사용자가 묻는 실제 질문 20개, 그리고 각 질문에 대한 답변. 이 20개는 에이전트를 신뢰하기 전에 작동하는지 증명하는 테스트 스위트가 됩니다.

배포

귀하의 인프라 또는 클라우드에서 실행되며, 모델 공급업체는 상호 교환 가능합니다. 문서가 귀하의 네트워크를 벗어날 수 없는 경우, 대신 로컬 모델을 계획할 것입니다.

처리 시간 및 커뮤니케이션

수집 및 검색 계층은 일반적으로 일주일 이내에 귀하의 문서에 대해 작동하며, 20개 질문 평가 세트는 사용자에게 노출되기 전에 정확도가 어느 정도인지 보여줍니다. 저는 인상보다는 점수를 보고하며, 검색에 대한 모든 변경 사항은 동일한 세트에 대해 측정되므로 개선 사항을 확인할 수 있고 회귀를 파악할 수 있습니다. 문서가 예상보다 지저분한 경우, 이는 마지막이 아닌 첫 며칠 내에 얻게 되는 결과입니다.