Kaufen Sie Datenanmerkungsdienste von verifizierten Experten

Ein praktischer Leitfaden zum Kauf von Datenannotation

Annotation ist der einzige Teil eines Projekts für maschinelles Lernen, bei dem Geld zuverlässig in die Modellleistung umgewandelt wird, und auch der Teil, der am häufigsten schlecht gekauft wird. Das Versagen liegt selten beim Annotator. Es liegt meistens daran, dass der Käufer Rohdaten und eine Klassenliste gesendet hat, genau das erhalten hat, wonach er gefragt hat, und danach festgestellt hat, dass die Klassenliste drei Unklarheiten enthielt, die niemand gelöst hatte.

Die Richtlinie ist das Produkt

Bevor Sie Labels kaufen, kaufen oder schreiben Sie das Dokument, das jemandem sagt, wie man sie erstellt. Eine brauchbare Annotationsrichtlinie benennt jede Klasse, definiert sie in einem Satz, zeigt ein positives und ein negatives Beispiel und verbringt dann den größten Teil ihrer Länge mit den Grenzbereichen: dem Objekt, das teilweise außerhalb des Rahmens liegt, dem Satz, der sowohl eine Beschwerde als auch eine Frage ist, dem Sprecher, der über einen anderen spricht. Sie gibt auch an, was zu tun ist, wenn nichts passt – ein Flag, ein Überspringen oder eine Sammelklasse. Teams, die dies zuerst schreiben, geben insgesamt weniger aus, da das erneute Labeln die teure Aktivität ist, nicht das Labeln.

Die richtige Aufgabenart wählen

Passen Sie die Annotation an die Entscheidung an, die das Modell treffen muss, nicht an das, was gründlich aussieht. Wenn Ihr Produkt nur wissen muss, ob ein Element vorhanden ist, ist eine Ganzbildklassifizierung ausreichend und eine Segmentierungsmaske eine Verschwendung des Budgets. Wenn es zählen muss, reichen Boxen aus. Masken verdienen ihre Kosten, wenn Grenzen wirklich wichtig sind – das Messen von Flächen, das Trennen von sich berührenden Objekten oder das Arbeiten mit unregelmäßigen Formen. Die gleiche Logik gilt für Text: Die Klassifizierung auf Dokumentenebene ist weitaus billiger als die Entitätserkennung auf Spannen-Ebene und oft ausreichend.

Qualität messen ohne zu raten

Drei Messungen decken die meisten Bedürfnisse ab. Ein Goldstandard-Set, das Sie selbst gelabelt und nie geteilt haben, gibt Ihnen eine absolute Punktzahl für jede Charge. Die Inter-Annotator-Übereinstimmung bei einer bewusst überlappenden Untermenge sagt Ihnen, ob die Aufgabe selbst gut definiert ist, was sich davon unterscheidet, ob eine Person sie gut ausführt. Und eine Überprüfungsprobe, bei der eine zweite Person einen festen Prozentsatz überprüft, gibt Ihnen eine Fehlerrate, die Sie im Laufe der Zeit verfolgen können. Legen Sie alle drei Zahlen vor der ersten Bestellung fest und schreiben Sie sie in das Briefing, damit der Standard nicht retrospektiv ist.

Klassenungleichgewicht und was als Nächstes zu labeln ist

Zufällig ausgewählte Daten werden in der Regel vom einfachen, häufigen Fall dominiert, und das Modell lernt das schnell und hört dann auf, sich zu verbessern. Sobald eine erste Charge gelabelt und ein Modell trainiert ist, ist die nützliche Frage nicht mehr, wie viel mehr Daten, sondern welche Daten. Elemente, bei denen das Modell am wenigsten zuversichtlich ist, Elemente, bei denen zwei Annotatoren nicht übereinstimmten, und Elemente aus unterrepräsentierten Klassen sind pro Label mehr wert als tausend weitere zufällige Zeilen. Deshalb ist der Kauf in Chargen besser als eine große Bestellung: Nur die erste Charge kann blind ausgewählt werden.

Datenschutz, Redaktion und regulierte Daten

Behandeln Sie den Annotationsschritt als Datenübertragung, denn das ist er. Redigieren oder de-identifizieren Sie die Daten, bevor sie Ihre Systeme verlassen, wo die Aufgabe es zulässt – Gesichter, Nummernschilder, Namen, Kontonummern, Adressen. Senden Sie eine Stichprobe statt alles. Verwenden Sie ablaufenden Zugriff auf einen von Ihnen kontrollierten Arbeitsbereich anstelle von permanenten Downloads und widerrufen Sie ihn zwischen den Chargen. Nehmen Sie Vertraulichkeit und eine Löschpflicht in das Auftragsbriefing auf, damit sie Teil der Vereinbarung sind, und halten Sie den Austausch innerhalb von Zinn Hub, wo ein Protokoll darüber geführt wird, was wann geteilt wurde. Für Gesundheits-, Finanz- oder biometrische Daten holen Sie Ihren eigenen Rechtsrat ein, was überhaupt geteilt werden darf – Zinn Hub zertifiziert keinen Datensatz oder Transfer als konform.

Formate, Konverter und die Übergabe

Vereinbaren Sie das genaue Ausgabeformat schriftlich und bitten Sie um eine Fünf-Elemente-Probe davon, bevor die Charge beginnt. COCO, YOLO und Pascal VOC unterscheiden sich darin, wie sie Koordinaten ausdrücken, ob Werte normalisiert sind und wo der Ursprung liegt, sodass eine Datei, die richtig aussieht, immer noch falsch geladen werden kann. Für Text geben Sie an, ob Offsets zeichenbasiert oder tokenbasiert sind und welchen Tokenizer. Bitten Sie um eine Prüfsumme oder eine Zeilenanzahl bei jeder Lieferung und laden Sie jede Charge am Tag ihrer Ankunft in Ihre tatsächliche Pipeline, anstatt am Ende – ein Formatproblem, das in Charge eins gefunden wird, ist trivial, und dasselbe Problem, das in Charge zwanzig gefunden wird, ist eine vierzehntägige Verzögerung.

Wo Annotation in der breiteren Pipeline sitzt

Das Labeln ist die Mitte einer Kette. Davor liegt die Sammlung, die Web Scraping und Datenextraktion, den Kauf oder die Instrumentierung Ihres eigenen Produkts bedeuten kann; und die Bereinigung, die die Datenbereinigungskategorie ist. Dahinter liegen Training, Evaluierung und die Retraining-Schleife, wo MLOps-Spezialisten ihr Honorar verdienen, und Reporting, das der Datenanalyse-Marktplatz ist. Die gesamte Kette von einer Person zu kaufen, ist bequem und entfernt eine nützliche Kontrolle; jede Phase separat zu kaufen, hält jeden Schritt überprüfbar.

Erste Schritte auf Zinn Hub

Schreiben Sie die Richtlinie, benennen Sie das Format, senden Sie dann einhundert Elemente an zwei oder drei Zinners als Festpreis-Micro Zinns und vergleichen Sie, was zurückkommt. Bewerten Sie jede Charge anhand eines Goldstandard-Sets, das Sie für sich behalten, und aktualisieren Sie die Richtlinie jedes Mal, wenn eine Unklarheit auftaucht. Wenn Ihr Datensatz groß ist oder der Bereich spezialisiert ist, veröffentlichen Sie ein kostenloses Annotationsprojekt, das das Volumen, den Aufgabentyp und die Qualitätsanforderungen beschreibt, und vergleichen Sie Vorschläge von verifizierten Zinners, anstatt Angebote einzuholen. Sie können auch direkt aus dem Verzeichnis der Datenannotations-Freelancer einstellen. Verkaufen Sie diese Arbeit, anstatt sie zu kaufen? Beginnen Sie mit unserem Leitfaden zum Verkauf von Machine-Learning-Diensten.