Acquista Servizi di Annotazione Dati da Esperti Verificati

Una guida pratica all'acquisto di Annotazione dei dati

L'annotazione è l'unica parte di un progetto di machine learning in cui il denaro si converte in modo affidabile in prestazioni del modello, ed è anche la parte più spesso acquistata male. Il fallimento raramente è dell'annotatore. Di solito è che l'acquirente ha inviato dati grezzi e un elenco di classi, ha ricevuto esattamente ciò che aveva chiesto, e ha scoperto in seguito che l'elenco delle classi conteneva tre ambiguità che nessuno aveva risolto.

La linea guida è il prodotto

Prima di acquistare le etichette, acquista o scrivi il documento che indica a qualcuno come produrle. Una linea guida di annotazione utilizzabile nomina ogni classe, la definisce in una frase, mostra un esempio positivo e uno negativo, e poi dedica la maggior parte della sua lunghezza ai casi limite: l'oggetto parzialmente fuori dall'inquadratura, la frase che è sia un reclamo che una domanda, l'oratore che parla sopra un altro. Indica anche cosa fare quando nulla si adatta — un flag, un salto, o una classe "catch-all". I team che scrivono questo per primi spendono meno in generale, perché la rietichettatura è l'attività costosa, non l'etichettatura.

Scelta del tipo di attività giusto

Abbina l'annotazione alla decisione che il modello deve prendere, non a ciò che sembra approfondito. Se il tuo prodotto ha solo bisogno di sapere se un elemento è presente, una classificazione dell'intera immagine è sufficiente e una maschera di segmentazione è uno spreco di budget. Se ha bisogno di contare, le caselle sono sufficienti. Le maschere ripagano il loro costo quando i confini contano davvero — misurare l'area, separare oggetti che si toccano o lavorare con forme irregolari. La stessa logica si applica al testo: la classificazione a livello di documento è molto più economica del tagging di entità a livello di span, e spesso sufficiente.

Misurare la qualità senza indovinare

Tre misurazioni coprono la maggior parte delle esigenze. Un set gold-standard che hai etichettato tu stesso e che non condividi mai ti dà un punteggio assoluto per ogni lotto. L'accordo inter-annotatore su un sottoinsieme deliberatamente sovrapposto ti dice se il compito stesso è ben definito, il che è diverso dal fatto che un individuo lo stia facendo bene. E un campione di revisione, in cui una seconda persona controlla una percentuale fissa, ti dà un tasso di errore che puoi monitorare nel tempo. Decidi tutti e tre i numeri prima del primo ordine e scrivili nel brief in modo che lo standard non sia retrospettivo.

Squilibrio di classe e cosa etichettare dopo

I dati campionati casualmente sono solitamente dominati dal caso facile e comune, e il modello lo impara rapidamente e poi smette di migliorare. Una volta che un primo lotto è etichettato e un modello addestrato, la domanda utile smette di essere quanti più dati e diventa quali dati. Gli elementi di cui il modello è meno sicuro, gli elementi su cui due annotatori non sono d'accordo e gli elementi di classi sottorappresentate valgono tutti di più per etichetta rispetto ad altre mille righe casuali. Questo è il motivo per cui l'acquisto in lotti batte un ordine grande: solo il primo lotto può essere scelto alla cieca.

Privacy, redazione e dati regolamentati

Tratta il passaggio di annotazione come un trasferimento di dati, perché lo è. Redigi o de-identifica prima che i dati lascino i tuoi sistemi dove il compito lo consente — volti, targhe, nomi, numeri di conto, indirizzi. Invia un campione piuttosto che tutto. Utilizza l'accesso con scadenza a uno spazio di lavoro che controlli invece di download permanenti e revoca l'accesso tra i lotti. Inserisci la riservatezza e l'obbligo di cancellazione nel brief dell'ordine in modo che facciano parte dell'accordo e mantieni lo scambio all'interno di Zinn Hub dove c'è una registrazione di ciò che è stato condiviso e quando. Per i dati sanitari, finanziari o biometrici, chiedi il tuo parere legale su cosa può essere condiviso — Zinn Hub non certifica alcun set di dati o trasferimento come conforme.

Formati, convertitori e consegna

Concorda il formato di output esatto per iscritto e richiedi un campione di cinque elementi prima dell'inizio del lotto. COCO, YOLO e Pascal VOC differiscono nel modo in cui esprimono le coordinate, se i valori sono normalizzati e dove si trova l'origine, quindi un file che sembra corretto può comunque caricarsi in modo errato. Per il testo, specifica se gli offset sono basati su caratteri o su token e quale tokenizzatore. Richiedi un checksum o un conteggio delle righe con ogni consegna e carica ogni lotto nella tua pipeline effettiva il giorno in cui arriva piuttosto che alla fine — un problema di formato trovato nel lotto uno è banale, e lo stesso problema trovato nel lotto venti è una quindicina di giorni.

Dove l'annotazione si inserisce nella pipeline più ampia

L'etichettatura è il centro di una catena. Prima di essa c'è la raccolta, che può significare web scraping ed estrazione dati, acquisto o strumentazione del proprio prodotto; e la pulizia, che è la categoria di pulizia dei dati. Dietro di essa c'è l'addestramento, la valutazione e il ciclo di riaddestramento, che è dove gli specialisti MLOps guadagnano la loro parcella, e la reportistica, che è il marketplace di analisi dei dati. Acquistare l'intera catena da una sola persona è conveniente e rimuove un utile controllo; acquistare ogni fase separatamente mantiene ogni passaggio ispezionabile.

Iniziare su Zinn Hub

Scrivi la linea guida, nomina il formato, quindi invia cento elementi a due o tre Zinners come Micro Zinns a prezzo fisso e confronta ciò che torna. Valuta ogni lotto rispetto a un set gold-standard che tieni per te e aggiorna la linea guida ogni volta che emerge un'ambiguità. Se il tuo set di dati è grande o il dominio è specialistico, pubblica un progetto di annotazione gratuito descrivendo il volume, il tipo di attività e la barra di qualità, e confronta le proposte di Zinners verificati invece di inseguire preventivi. Puoi anche assumere direttamente dalla directory di freelance per l'annotazione dei dati. Stai vendendo questo lavoro invece di acquistarlo? Inizia con la nostra guida alla vendita di servizi di machine learning.