Koop data-annotatiediensten van geverifieerde experts

Een praktische gids voor het kopen van gegevensannotatie

Annotatie is het enige onderdeel van een machine learning-project waar geld betrouwbaar wordt omgezet in modelprestaties, en ook het onderdeel dat het vaakst slecht wordt ingekocht. De fout ligt zelden bij de annotator. Meestal is het zo dat de koper ruwe gegevens en een klassenlijst heeft gestuurd, precies heeft ontvangen wat hij vroeg, en achteraf ontdekte dat de klassenlijst drie onduidelijkheden bevatte die niemand had opgelost.

De richtlijn is het product

Voordat u labels koopt, koopt of schrijft u het document dat iemand vertelt hoe ze te produceren. Een bruikbare annotatierichtlijn benoemt elke klasse, definieert deze in één zin, toont een positief en een negatief voorbeeld, en besteedt vervolgens het grootste deel van de lengte aan de grensgevallen: het object dat gedeeltelijk buiten beeld is, de zin die zowel een klacht als een vraag is, de spreker die over een ander heen praat. Het vermeldt ook wat te doen als niets past — een vlag, een overslaan, of een algemene klasse. Teams die dit eerst schrijven, besteden over het algemeen minder, omdat herlabelen de dure activiteit is, niet labelen.

Het juiste taaktype kiezen

Stem de annotatie af op de beslissing die het model moet nemen, niet op wat er grondig uitziet. Als uw product alleen hoeft te weten of een item aanwezig is, is een classificatie van de hele afbeelding voldoende en is een segmentatiemasker verspilling van budget. Als het moet tellen, zijn dozen voldoende. Maskers verdienen hun kosten wanneer grenzen er echt toe doen — het meten van oppervlakte, het scheiden van aanraakende objecten, of het werken met onregelmatige vormen. Dezelfde logica geldt voor tekst: classificatie op documentniveau is veel goedkoper dan entiteitstagging op spanneniveau, en vaak voldoende.

Kwaliteit meten zonder te raden

Drie metingen dekken de meeste behoeften. Een gouden standaardset die u zelf hebt gelabeld en nooit deelt, geeft u een absolute score voor elke batch. Inter-annotatorovereenstemming over een opzettelijk overlappende subset vertelt u of de taak zelf goed is gedefinieerd, wat anders is dan of een individu het goed doet. En een beoordelingsmonster, waarbij een tweede persoon een vast percentage controleert, geeft u een foutenpercentage dat u in de loop van de tijd kunt volgen. Bepaal alle drie de cijfers vóór de eerste bestelling, en schrijf ze in de opdracht zodat de standaard niet retrospectief is.

Klassenonbalans en wat te labelen

Willekeurig bemonsterde gegevens worden meestal gedomineerd door het gemakkelijke, veelvoorkomende geval, en het model leert dat snel en stopt dan met verbeteren. Zodra een eerste batch is gelabeld en een model is getraind, is de nuttige vraag niet langer hoeveel meer gegevens, maar welke gegevens. Items waar het model het minst zeker over is, items waar twee annotators het niet over eens waren, en items uit ondervertegenwoordigde klassen zijn allemaal meer waard per label dan duizend andere willekeurige rijen. Daarom is kopen in batches beter dan één grote bestelling: alleen de eerste batch kan blindelings worden gekozen.

Privacy, redactie en gereguleerde gegevens

Behandel de annotatiestap als een gegevensoverdracht, want dat is het. Redigeer of de-identificeer voordat de gegevens uw systemen verlaten waar de taak dit toelaat — gezichten, nummerplaten, namen, rekeningnummers, adressen. Stuur een voorbeeld in plaats van alles. Gebruik verlopende toegang tot een werkruimte die u beheert in plaats van permanente downloads, en trek deze in tussen batches. Neem vertrouwelijkheid en een verwijderingsplicht op in de opdrachtbrief, zodat ze deel uitmaken van de overeenkomst, en houd de uitwisseling binnen Zinn Hub waar een record is van wat werd gedeeld en wanneer. Voor gezondheids-, financiële of biometrische gegevens, vraag uw eigen juridisch advies over wat überhaupt mag worden gedeeld — Zinn Hub certificeert geen enkele dataset of overdracht als compliant.

Formaten, converters en de overdracht

Spreek het exacte uitvoerformaat schriftelijk af, en vraag om een voorbeeld van vijf items voordat de batch begint. COCO, YOLO en Pascal VOC verschillen in hoe ze coördinaten uitdrukken, of waarden genormaliseerd zijn, en waar de oorsprong ligt, dus een bestand dat er goed uitziet, kan nog steeds verkeerd laden. Voor tekst, specificeer of offsets op tekens of op tokens zijn gebaseerd en welke tokeniser. Vraag om een checksum of een rijtelling bij elke levering, en laad elke batch op de dag dat deze aankomt in uw daadwerkelijke pijplijn in plaats van aan het einde — een formaatprobleem dat in batch één wordt gevonden, is triviaal, en hetzelfde probleem dat in batch twintig wordt gevonden, is een veertien dagen.

Waar annotatie past in de bredere pijplijn

Labelen is het midden van een keten. Daaraan voorafgaand zit verzameling, wat web scraping en data-extractie, aankoop of het instrumenteren van uw eigen product kan betekenen; en opschoning, wat de data cleaning categorie is. Daarachter zit training, evaluatie en de hertrainingslus, waar MLOps-specialisten hun vergoeding verdienen, en rapportage, wat de data-analysemarktplaats is. Het kopen van de hele keten van één persoon is handig en verwijdert een nuttige controle; het afzonderlijk kopen van elke fase houdt elke stap controleerbaar.

Aan de slag op Zinn Hub

Schrijf de richtlijn, benoem het formaat, stuur dan honderd items naar twee of drie Zinners als vaste prijs Micro Zinns en vergelijk wat er terugkomt. Beoordeel elke batch aan de hand van een gouden standaardset die u voor uzelf houdt, en werk de richtlijn bij telkens wanneer een ambiguïteit opduikt. Als uw dataset groot is of het domein specialistisch, plaats dan een gratis annotatieproject waarin het volume, het taaktype en de kwaliteitslat worden beschreven, en vergelijk voorstellen van geverifieerde Zinners in plaats van offertes na te jagen. U kunt ook rechtstreeks inhuren via de data-annotatie freelancer directory. Dit werk verkopen in plaats van kopen? Begin met onze gids voor het verkopen van machine learning-diensten.