Kup Usługi Adnotacji Danych od Zweryfikowanych Ekspertów

Praktyczny przewodnik po zakupie adnotacji danych

Adnotacja to jedyna część projektu uczenia maszynowego, w której pieniądze niezawodnie przekładają się na wydajność modelu, a także część najczęściej źle kupowana. Przyczyną niepowodzenia rzadko jest osoba dokonująca adnotacji. Zazwyczaj jest to sytuacja, w której kupujący wysłał surowe dane i listę klas, otrzymał dokładnie to, o co prosił, a następnie odkrył, że lista klas zawierała trzy niejasności, których nikt nie rozwiązał.

Wytyczne są produktem

Zanim kupisz etykiety, kup lub napisz dokument, który powie komuś, jak je wyprodukować. Użyteczne wytyczne dotyczące adnotacji nazywają każdą klasę, definiują ją w jednym zdaniu, pokazują przykład pozytywny i negatywny, a następnie poświęcają większość swojej długości na przypadki graniczne: obiekt częściowo poza kadrem, zdanie, które jest zarówno skargą, jak i pytaniem, mówca, który mówi przez innego. Określa również, co zrobić, gdy nic nie pasuje — flagę, pominięcie lub klasę ogólną. Zespoły, które najpierw to napiszą, wydają mniej ogólnie, ponieważ ponowne etykietowanie jest kosztowną czynnością, a nie etykietowanie.

Wybór odpowiedniego typu zadania

Dopasuj adnotację do decyzji, którą musi podjąć model, a nie do tego, co wygląda na dokładne. Jeśli Twój produkt musi tylko wiedzieć, czy element jest obecny, wystarczy klasyfikacja całego obrazu, a maska segmentacji jest marnowaniem budżetu. Jeśli musi liczyć, wystarczą pola. Maski zarabiają na siebie, gdy granice naprawdę mają znaczenie — mierzenie powierzchni, oddzielanie stykających się obiektów lub praca z nieregularnymi kształtami. Ta sama logika dotyczy tekstu: klasyfikacja na poziomie dokumentu jest znacznie tańsza niż tagowanie encji na poziomie zakresu i często wystarczająca.

Mierzenie jakości bez zgadywania

Trzy pomiary pokrywają większość potrzeb. Zestaw złotego standardu, który sam oznaczyłeś i nigdy nie udostępniasz, daje Ci absolutny wynik dla każdej partii. Zgodność między adnotatorami w celowo nakładającej się podgrupie mówi Ci, czy samo zadanie jest dobrze zdefiniowane, co różni się od tego, czy dana osoba wykonuje je dobrze. A próbka recenzji, w której druga osoba sprawdza ustalony procent, daje Ci wskaźnik błędów, który możesz śledzić w czasie. Zdecyduj o wszystkich trzech liczbach przed pierwszym zamówieniem i wpisz je do briefu, aby standard nie był retrospektywny.

Niezrównoważenie klas i co etykietować dalej

Losowo próbkowane dane są zazwyczaj zdominowane przez łatwe, typowe przypadki, a model szybko się tego uczy, a następnie przestaje się poprawiać. Po oznaczeniu pierwszej partii i wytrenowaniu modelu, użyteczne pytanie przestaje dotyczyć tego, ile więcej danych, a staje się pytaniem o to, które dane. Elementy, co do których model jest najmniej pewny, elementy, co do których dwóch adnotatorów się nie zgodziło, oraz elementy z niedostatecznie reprezentowanych klas są warte więcej na etykietę niż kolejne tysiąc losowych wierszy. Dlatego kupowanie w partiach jest lepsze niż jedno duże zamówienie: tylko pierwsza partia może być wybrana na ślepo.

Prywatność, redakcja i dane regulowane

Traktuj etap adnotacji jako transfer danych, ponieważ nim jest. Zredaguj lub zanonimizuj dane, zanim opuszczą Twoje systemy, jeśli zadanie na to pozwala — twarze, tablice rejestracyjne, imiona, numery kont, adresy. Wyślij próbkę, a nie wszystko. Używaj dostępu z wygasającym terminem do kontrolowanego przez Ciebie obszaru roboczego zamiast stałych pobrań i odwołuj go między partiami. Umieść klauzulę poufności i obowiązek usunięcia w briefie zamówienia, aby były częścią umowy, i utrzymuj wymianę w Zinn Hub, gdzie istnieje zapis tego, co zostało udostępnione i kiedy. W przypadku danych dotyczących zdrowia, finansowych lub biometrycznych, zasięgnij własnej porady prawnej na temat tego, co w ogóle może być udostępnione — Zinn Hub nie certyfikuje żadnego zestawu danych ani transferu jako zgodnego.

Formaty, konwertery i przekazanie

Uzgodnij dokładny format wyjściowy na piśmie i poproś o pięcioelementową próbkę przed rozpoczęciem partii. COCO, YOLO i Pascal VOC różnią się sposobem wyrażania współrzędnych, tym, czy wartości są znormalizowane i gdzie znajduje się początek, więc plik, który wygląda poprawnie, może nadal ładować się nieprawidłowo. W przypadku tekstu określ, czy przesunięcia są oparte na znakach, czy na tokenach i który tokenizator. Poproś o sumę kontrolną lub liczbę wierszy z każdą dostawą i załaduj każdą partię do swojego rzeczywistego potoku w dniu jej otrzymania, a nie na końcu — problem z formatem znaleziony w partii pierwszej jest trywialny, a ten sam problem znaleziony w partii dwudziestej to dwa tygodnie.

Gdzie adnotacja mieści się w szerszym potoku

Etykietowanie to śroodek łańcucha. Przed nim znajduje się zbieranie, co może oznaczać web scraping i ekstrakcję danych, zakup lub instrumentowanie własnego produktu; oraz czyszczenie, czyli kategoria czyszczenia danych. Za nim znajduje się szkolenie, ocena i pętla ponownego szkolenia, gdzie specjaliści MLOps zarabiają swoje wynagrodzenie, oraz raportowanie, czyli rynek analizy danych. Kupowanie całego łańcucha od jednej osoby jest wygodne i usuwa przydatną kontrolę; kupowanie każdego etapu osobno sprawia, że każdy krok jest możliwy do sprawdzenia.

Rozpoczęcie pracy na Zinn Hub

Napisz wytyczne, nazwij format, a następnie wyślij sto pozycji do dwóch lub trzech Zinnerów jako Micro Zinns o stałej cenie i porównaj to, co wróci. Oceniaj każdą partię w stosunku do zestawu złotego standardu, który zachowujesz dla siebie, i aktualizuj wytyczne za każdym razem, gdy pojawi się niejasność. Jeśli Twój zestaw danych jest duży lub domena jest specjalistyczna, opublikuj darmowy projekt adnotacji opisujący objętość, typ zadania i próg jakości, i porównaj propozycje od zweryfikowanych Zinnerów zamiast gonić za wycenami. Możesz również zatrudnić bezpośrednio z katalogu freelancerów zajmujących się adnotacją danych. Sprzedajesz tę pracę zamiast ją kupować? Zacznij od naszego przewodnika po sprzedaży usług uczenia maszynowego.