Купете услуги за анотиране на данни от проверени експерти

Практическо ръководство за закупуване на анотация на данни

Анотацията е единствената част от проекта за машинно обучение, където парите надеждно се превръщат в производителност на модела, а също така и частта, която най-често се купува лошо. Провалът рядко е в анотатора. Обикновено купувачът е изпратил необработени данни и списък с класове, получил е точно това, което е поискал, и впоследствие е открил, че списъкът с класове съдържа три неясноти, които никой не е разрешил.

Насоката е продуктът

Преди да купите етикети, купете или напишете документа, който казва на някого как да ги произведе. Използваемата насока за анотация назовава всеки клас, дефинира го в едно изречение, показва положителен и отрицателен пример и след това прекарва по-голямата част от дължината си върху граничните случаи: обектът, който е частично извън кадър, изречението, което е едновременно оплакване и въпрос, говорителят, който говори върху друг. Тя също така посочва какво да правите, когато нищо не пасва — флаг, пропускане или общ клас. Екипите, които пишат това първо, харчат по-малко като цяло, защото преетикетирането е скъпата дейност, а не етикетирането.

Избор на правилния тип задача

Съпоставете анотацията с решението, което моделът трябва да вземе, а не с това, което изглежда задълбочено. Ако вашият продукт трябва само да знае дали даден елемент присъства, класификацията на цялото изображение е достатъчна, а маската за сегментация е загуба на бюджет. Ако трябва да брои, кутиите са достатъчни. Маските си заслужават цената, когато границите наистина имат значение — измерване на площ, разделяне на докосващи се обекти или работа с неправилни форми. Същата логика важи и за текста: класификацията на ниво документ е много по-евтина от тагването на обекти на ниво обхват и често е достатъчна.

Измерване на качеството без догадки

Три измервания покриват повечето нужди. Златен стандартен набор, който сте етикетирали сами и никога не споделяте, ви дава абсолютен резултат за всяка партида. Съгласието между анотаторите върху умишлено припокриващ се поднабор ви казва дали самата задача е добре дефинирана, което е различно от това дали дадено лице я изпълнява добре. И извадка за преглед, където второ лице проверява фиксиран процент, ви дава процент на грешки, който можете да проследявате във времето. Решете всичките три числа преди първата поръчка и ги запишете в заданието, така че стандартът да не е ретроспективен.

Дисбаланс на класовете и какво да етикетирате след това

Случайно избраните данни обикновено са доминирани от лесния, често срещан случай и моделът го научава бързо и след това спира да се подобрява. След като първата партида е етикетирана и моделът е обучен, полезният въпрос спира да бъде колко повече данни и става кои данни. Елементи, за които моделът е най-малко уверен, елементи, където двама анотатори не са съгласни, и елементи от недостатъчно представени класове, всички те струват повече на етикет от още хиляда случайни реда. Ето защо купуването на партиди е по-добро от една голяма поръчка: само първата партида може да бъде избрана на сляпо.

Поверителност, редактиране и регулирани данни

Третирайте стъпката на анотация като прехвърляне на данни, защото тя е такава. Редактирайте или деидентифицирайте, преди данните да напуснат вашите системи, където задачата го позволява — лица, номера на табели, имена, номера на сметки, адреси. Изпратете извадка, а не всичко. Използвайте изтичащ достъп до работно пространство, което контролирате, вместо постоянни изтегляния, и го отменяйте между партидите. Включете поверителност и задължение за изтриване в заданието за поръчка, така че те да са част от споразумението, и поддържайте обмена в Zinn Hub, където има запис на това какво е споделено и кога. За здравни, финансови или биометрични данни, потърсете собствен правен съвет относно това какво може да бъде споделено изобщо — Zinn Hub не сертифицира нито един набор от данни или прехвърляне като съвместим.

Формати, конвертори и предаване

Договорете точния изходен формат писмено и поискайте извадка от пет елемента от него, преди да започне партидата. COCO, YOLO и Pascal VOC се различават по начина, по който изразяват координатите, дали стойностите са нормализирани и къде се намира началото, така че файл, който изглежда правилен, все пак може да се зареди неправилно. За текст посочете дали отместванията са базирани на символи или на токени и кой токенизатор. Поискайте контролна сума или брой редове с всяка доставка и заредете всяка партида във вашия действителен конвейер в деня, в който пристигне, а не в края — проблем с формата, открит в партида едно, е тривиален, а същият проблем, открит в партида двадесет, е две седмици.

Къде се намира анотацията в по-широкия конвейер

Етикетирането е средата на веригата. Преди него е събирането, което може да означава уеб скрейпинг и извличане на данни, закупуване или инструментиране на собствен продукт; и почистване, което е категорията за почистване на данни. След него е обучението, оценката и цикъла на преобучение, където специалистите по MLOps печелят таксата си, и отчитането, което е пазарът за анализ на данни. Купуването на цялата верига от един човек е удобно и премахва полезна проверка; купуването на всеки етап поотделно поддържа всяка стъпка проверима.

Започване в Zinn Hub

Напишете насоката, назовете формата, след това изпратете сто елемента на двама или трима Zinners като Micro Zinns с фиксирана цена и сравнете какво се връща. Оценявайте всяка партида спрямо златен стандартен набор, който пазите за себе си, и актуализирайте насоката всеки път, когато се появи неяснота. Ако вашият набор от данни е голям или областта е специализирана, публикувайте безплатен проект за анотация, описващ обема, типа задача и прага за качество, и сравнете предложения от проверени Zinners, вместо да търсите оферти. Можете също така да наемете директно от директорията на фрийлансъри за анотация на данни. Продавате тази работа, вместо да я купувате? Започнете с нашето ръководство за продажба на услуги за машинно обучение.