検証済みの専門家からデータアノテーションサービスを購入する

データアノテーション購入の実践ガイド

アノテーションは、機械学習プロジェクトにおいて、費用がモデルのパフォーマンスに確実に変換される唯一の部分であり、また、最も購入方法を誤りやすい部分でもあります。失敗の原因はアノテーターにあることは稀です。通常は、購入者が生データとクラスリストを送り、要求通りのものを受け取った後で、クラスリストに誰も解決していなかった3つの曖昧さが含まれていたことに気づくというものです。

ガイドラインが製品である

ラベルを購入する前に、ラベルをどのように作成するかを指示するドキュメントを購入または作成してください。使いやすいアノテーションガイドラインは、各クラスに名前を付け、1文で定義し、肯定例と否定例を示し、そのほとんどの長さを境界ケースに費やします。つまり、フレームから部分的に外れたオブジェクト、苦情と質問の両方である文、他の人の話に割り込む話者などです。また、何も当てはまらない場合にどうするか（フラグ、スキップ、または包括的なクラス）も記載されています。これを最初に書くチームは全体的に費用を抑えることができます。なぜなら、再ラベリングは高価な活動であり、ラベリングではないからです。

適切なタスクタイプの選択

アノテーションは、徹底的に見えるものに合わせるのではなく、モデルが行う必要がある決定に合わせます。製品がアイテムの存在を知るだけでよい場合、画像全体の分類で十分であり、セグメンテーションマスクは予算の無駄です。数える必要がある場合は、ボックスで十分です。マスクは、境界が本当に重要である場合（面積の測定、接触するオブジェクトの分離、不規則な形状の処理）に費用に見合う価値があります。同じロジックがテキストにも当てはまります。ドキュメントレベルの分類は、スパンレベルのエンティティタグ付けよりもはるかに安価であり、多くの場合十分です。

推測せずに品質を測定する

ほとんどのニーズは3つの測定でカバーできます。自分でラベル付けし、決して共有しないゴールドスタンダードセットは、すべてのバッチの絶対スコアを提供します。意図的に重複させたサブセットでのアノテーター間の一致は、タスク自体が適切に定義されているかどうかを示します。これは、個人がそれをうまく行っているかどうかとは異なります。そして、2人目が一定の割合をチェックするレビューサンプルは、時間の経過とともに傾向を把握できるエラー率を提供します。最初の注文の前にこれら3つの数値をすべて決定し、ブリーフに書き込んで、標準が遡及的にならないようにします。

クラスの不均衡と次にラベル付けするもの

ランダムにサンプリングされたデータは、通常、簡単で一般的なケースが支配的であり、モデルはそれをすぐに学習し、改善を停止します。最初のバッチがラベル付けされ、モデルがトレーニングされると、有用な質問は「どれくらいのデータが必要か」ではなく「どのデータが必要か」になります。モデルが最も自信を持っていないアイテム、2人のアノテーターが意見を異にしたアイテム、および過小評価されているクラスのアイテムはすべて、別の数千のランダムな行よりも1つのラベルあたりの価値が高くなります。これが、バッチで注文する方が1つの大きな注文よりも優れている理由です。最初のバッチだけが盲目的に選択できます。

プライバシー、編集、規制データ

アノテーションステップをデータ転送として扱ってください。なぜなら、それはデータ転送だからです。タスクが許す場合（顔、ナンバープレート、名前、口座番号、住所など）、データがシステムを離れる前に編集または匿名化してください。すべてではなくサンプルを送ってください。永続的なダウンロードではなく、管理するワークスペースへの期限付きアクセスを使用し、バッチ間でアクセスを取り消してください。機密保持と削除義務を注文ブリーフに含めて、契約の一部となるようにし、共有された内容と時期の記録があるZinn Hub内でやり取りを行ってください。健康、金融、または生体認証データについては、共有できる内容について独自の法的助言を受けてください。Zinn Hubはいかなるデータセットまたは転送も準拠しているとは認定しません。

フォーマット、コンバーター、引き渡し

正確な出力フォーマットを書面で合意し、バッチを開始する前に5項目のサンプルを要求してください。COCO、YOLO、Pascal VOCは、座標の表現方法、値が正規化されているかどうか、原点がどこにあるかという点で異なります。そのため、正しく見えるファイルでも誤ってロードされる可能性があります。テキストの場合、オフセットが文字ベースかトークンベースか、どのトークナイザーを使用するかを指定してください。各納品時にチェックサムまたは行数を要求し、到着した日にすべてのバッチを実際のパイプラインにロードしてください。バッチ1で見つかったフォーマットの問題は些細なことですが、バッチ20で見つかった同じ問題は2週間かかります。

アノテーションがより広いパイプラインの中でどこに位置するか

ラベリングはチェーンの中間に位置します。その前には、ウェブスクレイピングとデータ抽出、購入、または自社製品の計測を意味する収集と、データクリーニングカテゴリであるクリーニングがあります。その後ろには、MLOpsスペシャリストが報酬を得るトレーニング、評価、再トレーニングループと、データ分析マーケットプレイスであるレポート作成があります。チェーン全体を一人から購入するのは便利で、有用なチェックを省くことになります。各段階を個別に購入することで、すべてのステップを検査可能に保つことができます。

Zinn Hubの始め方

ガイドラインを作成し、フォーマットを命名し、固定価格のMicro Zinnsとして100個のアイテムを2〜3人のZinnersに送り、返ってきたものを比較します。各バッチを、あなたが保持するゴールドスタンダードセットと照合して採点し、曖昧さが表面化するたびにガイドラインを更新します。データセットが大きい場合やドメインが専門的な場合は、無料のアノテーションプロジェクトを投稿して、ボリューム、タスクタイプ、品質基準を記述し、見積もりを追いかける代わりに検証済みのZinnersからの提案を比較します。また、データアノテーションフリーランサーディレクトリから直接雇用することもできます。この作業を購入するのではなく販売しますか？機械学習サービスの販売に関するガイドから始めてください。