Achetez des services d'annotation de données auprès d'experts vérifiés

Un guide pratique pour l'achat de l'annotation de données

L'annotation est la seule partie d'un projet d'apprentissage automatique où l'argent se traduit de manière fiable en performance du modèle, et aussi la partie la plus souvent mal achetée. L'échec est rarement dû à l'annotateur. C'est généralement l'acheteur qui a envoyé des données brutes et une liste de classes, a reçu exactement ce qu'il avait demandé, et a découvert après coup que la liste de classes contenait trois ambiguïtés que personne n'avait résolues.

La directive est le produit

Avant d'acheter des étiquettes, achetez ou rédigez le document qui indique à quelqu'un comment les produire. Une directive d'annotation utilisable nomme chaque classe, la définit en une phrase, montre un exemple positif et un exemple négatif, puis consacre la majeure partie de sa longueur aux cas limites: l'objet partiellement hors cadre, la phrase qui est à la fois une plainte et une question, l'orateur qui parle par-dessus un autre. Elle indique également ce qu'il faut faire lorsque rien ne correspond — un drapeau, un saut ou une classe fourre-tout. Les équipes qui rédigent cela en premier dépensent moins globalement, car le réétiquetage est l'activité coûteuse, pas l'étiquetage.

Choisir le bon type de tâche

Faites correspondre l'annotation à la décision que le modèle doit prendre, et non à ce qui semble exhaustif. Si votre produit n'a besoin de savoir que si un article est présent, une classification d'image entière est suffisante et un masque de segmentation est un gaspillage de budget. S'il doit compter, des boîtes sont suffisantes. Les masques justifient leur coût lorsque les limites sont réellement importantes — mesure de surface, séparation d'objets qui se touchent ou travail avec des formes irrégulières. La même logique s'applique au texte: la classification au niveau du document est beaucoup moins chère que l'étiquetage d'entités au niveau de l'étendue, et souvent suffisante.

Mesurer la qualité sans deviner

Trois mesures couvrent la plupart des besoins. Un ensemble de référence que vous avez étiqueté vous-même et que vous ne partagez jamais vous donne un score absolu pour chaque lot. L'accord inter-annotateurs sur un sous-ensemble délibérément chevauché vous indique si la tâche elle-même est bien définie, ce qui est différent de savoir si un individu la fait bien. Et un échantillon de révision, où une deuxième personne vérifie un pourcentage fixe, vous donne un taux d'erreur que vous pouvez suivre au fil du temps. Décidez de ces trois chiffres avant la première commande, et inscrivez-les dans le cahier des charges afin que la norme ne soit pas rétrospective.

Déséquilibre des classes et ce qu'il faut étiqueter ensuite

Les données échantillonnées aléatoirement sont généralement dominées par le cas facile et courant, et le modèle l'apprend rapidement puis cesse de s'améliorer. Une fois qu'un premier lot est étiqueté et qu'un modèle est entraîné, la question utile n'est plus combien de données supplémentaires, mais quelles données. Les éléments dont le modèle est le moins sûr, les éléments sur lesquels deux annotateurs n'étaient pas d'accord, et les éléments des classes sous-représentées valent tous plus par étiquette que mille autres lignes aléatoires. C'est pourquoi l'achat par lots est préférable à une commande importante: seul le premier lot peut être choisi à l'aveugle.

Confidentialité, rédaction et données réglementées

Traitez l'étape d'annotation comme un transfert de données, car c'en est un. Rédigez ou dé-identifiez avant que les données ne quittent vos systèmes lorsque la tâche le permet — visages, plaques d'immatriculation, noms, numéros de compte, adresses. Envoyez un échantillon plutôt que tout. Utilisez un accès expirant à un espace de travail que vous contrôlez au lieu de téléchargements permanents, et révoquez-le entre les lots. Incluez la confidentialité et une obligation de suppression dans le cahier des charges afin qu'elles fassent partie de l'accord, et maintenez l'échange au sein de Zinn Hub où il y a un enregistrement de ce qui a été partagé et quand. Pour les données de santé, financières ou biométriques, demandez votre propre avis juridique sur ce qui peut être partagé — Zinn Hub ne certifie aucun ensemble de données ou transfert comme étant conforme.

Formats, convertisseurs et transfert

Convenez du format de sortie exact par écrit, et demandez un échantillon de cinq éléments avant le début du lot. COCO, YOLO et Pascal VOC diffèrent dans la façon dont ils expriment les coordonnées, si les valeurs sont normalisées et où se trouve l'origine, de sorte qu'un fichier qui semble correct peut toujours se charger de manière incorrecte. Pour le texte, spécifiez si les décalages sont basés sur les caractères ou sur les jetons et quel jetoniseur. Demandez une somme de contrôle ou un nombre de lignes avec chaque livraison, et chargez chaque lot dans votre pipeline réel le jour de son arrivée plutôt qu'à la fin — un problème de format trouvé dans le lot un est trivial, et le même problème trouvé dans le lot vingt représente une quinzaine de jours.

Où l'annotation se situe dans le pipeline plus large

L'étiquetage est le milieu d'une chaîne. En amont se trouve la collecte, qui peut signifier le web scraping et l'extraction de données, l'achat ou l'instrumentation de votre propre produit; et le nettoyage, qui est la catégorie de nettoyage de données. En aval se trouvent la formation, l'évaluation et la boucle de réentraînement, où les spécialistes MLOps gagnent leur salaire, et le reporting, qui est le marché de l'analyse de données. Acheter toute la chaîne à une seule personne est pratique et supprime un contrôle utile; acheter chaque étape séparément permet d'inspecter chaque étape.

Démarrer sur Zinn Hub

Rédigez la directive, nommez le format, puis envoyez cent articles à deux ou trois Zinners sous forme de Micro Zinns à prix fixe et comparez ce qui revient. Évaluez chaque lot par rapport à un ensemble de référence que vous gardez pour vous, et mettez à jour la directive chaque fois qu'une ambiguïté apparaît. Si votre ensemble de données est volumineux ou si le domaine est spécialisé, publiez un projet d'annotation gratuit décrivant le volume, le type de tâche et la barre de qualité, et comparez les propositions de Zinners vérifiés au lieu de courir après les devis. Vous pouvez également embaucher directement à partir du répertoire des freelances en annotation de données. Vous vendez ce travail plutôt que de l'acheter? Commencez par notre guide sur la vente de services d'apprentissage automatique.