검증된 전문가로부터 데이터 주석 서비스 구매

데이터 주석 구매를 위한 실용 가이드

주석은 머신러닝 프로젝트에서 돈이 모델 성능으로 확실하게 전환되는 유일한 부분이며, 또한 가장 자주 잘못 구매되는 부분이기도 합니다. 실패는 거의 주석 작성자의 잘못이 아닙니다. 대개 구매자가 원시 데이터와 클래스 목록을 보냈고, 요청한 것을 정확히 받았지만, 나중에 클래스 목록에 아무도 해결하지 못한 세 가지 모호성이 포함되어 있음을 발견하는 경우입니다.

가이드라인이 곧 제품입니다

레이블을 구매하기 전에, 레이블을 생산하는 방법을 알려주는 문서를 구매하거나 작성하십시오. 사용 가능한 주석 가이드라인은 각 클래스의 이름을 지정하고, 한 문장으로 정의하며, 긍정적인 예시와 부정적인 예시를 보여주고, 대부분의 길이를 경계 사례에 할애합니다: 프레임에서 부분적으로 벗어난 객체, 불만과 질문을 모두 포함하는 문장, 다른 사람의 말을 가로막는 화자. 또한 아무것도 맞지 않을 때 무엇을 해야 하는지 명시합니다 — 플래그, 건너뛰기 또는 포괄적인 클래스. 이 작업을 먼저 작성하는 팀은 전체적으로 비용을 덜 지출합니다. 왜냐하면 레이블 재지정은 비싼 활동이지, 레이블 지정이 아니기 때문입니다.

올바른 작업 유형 선택

주석을 모델이 내려야 하는 결정에 맞추고, 철저해 보이는 것에 맞추지 마십시오. 제품이 항목의 존재 여부만 알면 된다면, 전체 이미지 분류로 충분하며 분할 마스크는 예산 낭비입니다. 개수를 세어야 한다면, 상자로 충분합니다. 마스크는 경계가 실제로 중요할 때 — 면적 측정, 접촉하는 객체 분리 또는 불규칙한 모양 작업 — 비용을 정당화합니다. 동일한 논리가 텍스트에도 적용됩니다: 문서 수준 분류는 스팬 수준 개체 태깅보다 훨씬 저렴하며, 종종 충분합니다.

추측 없이 품질 측정

세 가지 측정으로 대부분의 요구 사항을 충족합니다. 직접 레이블을 지정하고 절대 공유하지 않는 골드 스탠다드 세트는 모든 배치에 대한 절대 점수를 제공합니다. 의도적으로 중복된 하위 집합에 대한 주석자 간 동의는 개인이 작업을 잘 수행하는지 여부와는 다른, 작업 자체가 잘 정의되었는지 여부를 알려줍니다. 그리고 두 번째 사람이 고정된 비율을 확인하는 검토 샘플은 시간이 지남에 따라 추세를 파악할 수 있는 오류율을 제공합니다. 첫 번째 주문 전에 이 세 가지 숫자를 모두 결정하고, 표준이 소급 적용되지 않도록 브리프에 작성하십시오.

클래스 불균형 및 다음에 레이블을 지정할 대상

무작위로 샘플링된 데이터는 대개 쉽고 일반적인 사례에 의해 지배되며, 모델은 이를 빠르게 학습한 다음 개선을 멈춥니다. 첫 번째 배치가 레이블링되고 모델이 훈련되면, 유용한 질문은 얼마나 더 많은 데이터가 아니라 어떤 데이터가 됩니다. 모델이 가장 확신하지 못하는 항목, 두 주석자가 동의하지 않은 항목, 그리고 과소 대표된 클래스의 항목은 모두 다른 천 개의 무작위 행보다 레이블당 더 가치가 있습니다. 이것이 한 번의 대량 주문보다 배치로 구매하는 것이 더 나은 이유입니다: 첫 번째 배치만 맹목적으로 선택할 수 있습니다.

개인 정보 보호, 수정 및 규제 데이터

주석 단계를 데이터 전송으로 취급하십시오. 왜냐하면 그것은 데이터 전송이기 때문입니다. 작업이 허용하는 경우 데이터가 시스템을 떠나기 전에 얼굴, 번호판, 이름, 계좌 번호, 주소 등을 수정하거나 비식별화하십시오. 모든 것 대신 샘플을 보내십시오. 영구 다운로드 대신 제어하는 작업 공간에 대한 만료되는 액세스를 사용하고, 배치 사이에 액세스를 취소하십시오. 기밀 유지 및 삭제 의무를 주문 브리프에 포함하여 계약의 일부가 되도록 하고, 공유된 내용과 시기에 대한 기록이 있는 Zinn Hub 내에서 교환을 유지하십시오. 건강, 금융 또는 생체 인식 데이터의 경우, 무엇을 공유할 수 있는지에 대해 자체적인 법률 자문을 구하십시오 — Zinn Hub는 어떤 데이터셋이나 전송도 규정 준수 여부를 인증하지 않습니다.

형식, 변환기 및 인계

정확한 출력 형식을 서면으로 합의하고, 배치가 시작되기 전에 5개 항목 샘플을 요청하십시오. COCO, YOLO 및 Pascal VOC는 좌표를 표현하는 방식, 값이 정규화되는지 여부, 원점이 어디에 있는지에 따라 다르므로, 올바르게 보이는 파일도 잘못 로드될 수 있습니다. 텍스트의 경우, 오프셋이 문자 기반인지 토큰 기반인지, 어떤 토크나이저를 사용할지 지정하십시오. 각 배송 시 체크섬 또는 행 수를 요청하고, 도착 당일에 모든 배치를 실제 파이프라인에 로드하십시오 — 배치 1에서 발견된 형식 문제는 사소하지만, 배치 20에서 발견된 동일한 문제는 2주가 걸립니다.

주석이 더 넓은 파이프라인에서 차지하는 위치

레이블링은 체인의 중간입니다. 그 앞에는 웹 스크래핑 및 데이터 추출, 구매 또는 자체 제품 계측을 의미할 수 있는 수집이 있습니다. 그리고 데이터 클리닝 카테고리인 클리닝이 있습니다. 그 뒤에는 MLOps 전문가가 수수료를 버는 훈련, 평가 및 재훈련 루프가 있으며, 데이터 분석 마켓플레이스인 보고가 있습니다. 한 사람에게 전체 체인을 구매하는 것은 편리하고 유용한 검사를 제거합니다. 각 단계를 별도로 구매하면 모든 단계를 검사할 수 있습니다.

Zinn Hub 시작하기

가이드라인을 작성하고, 형식을 지정한 다음, 100개의 항목을 두세 명의 Zinner에게 고정 가격 Micro Zinns로 보내고 반환되는 것을 비교하십시오. 직접 보관하는 골드 스탠다드 세트에 대해 모든 배치를 평가하고, 모호성이 나타날 때마다 가이드라인을 업데이트하십시오. 데이터셋이 크거나 도메인이 전문적이라면, 볼륨, 작업 유형 및 품질 기준을 설명하는 무료 주석 프로젝트를 게시하고, 견적을 쫓는 대신 검증된 Zinner의 제안을 비교하십시오. 또한 데이터 주석 프리랜서 디렉토리에서 직접 고용할 수도 있습니다. 이 작업을 구매하는 대신 판매하시나요? 머신러닝 서비스 판매 가이드부터 시작하십시오.