Купуйте послуги анотації даних у перевірених експертів

Практичний посібник із закупівлі анотації даних

Анотація — це та частина проєкту машинного навчання, де гроші надійно перетворюються на продуктивність моделі, а також та частина, яку найчастіше купують неправильно. Невдача рідко полягає в анотаторі. Зазвичай це відбувається тому, що покупець надіслав необроблені дані та список класів, отримав саме те, що просив, а потім виявив, що список класів містив три неоднозначності, які ніхто не вирішив.

Настанова — це продукт

Перш ніж купувати мітки, купіть або напишіть документ, який розповідає, як їх створювати. Корисна настанова з анотації називає кожен клас, визначає його одним реченням, показує позитивний і негативний приклад, а потім більшу частину свого обсягу присвячує граничним випадкам: об'єкт частково поза кадром, речення, яке є одночасно скаргою і запитанням, мовець, який перебиває іншого. Вона також вказує, що робити, коли нічого не підходить — прапорець, пропуск або загальний клас. Команди, які пишуть це першими, витрачають менше загалом, тому що перемаркування є дорогою діяльністю, а не маркування.

Вибір правильного типу завдання

Зіставте анотацію з рішенням, яке має прийняти модель, а не з тим, що виглядає ретельно. Якщо вашому продукту потрібно лише знати, чи присутній елемент, класифікації всього зображення достатньо, а маска сегментації є марною тратою бюджету. Якщо потрібно підрахувати, достатньо коробок. Маски окупають свою вартість, коли межі дійсно мають значення — вимірювання площі, розділення об'єктів, що торкаються, або робота з неправильними формами. Та сама логіка застосовується до тексту: класифікація на рівні документа набагато дешевша, ніж тегування сутностей на рівні діапазону, і часто достатня.

Вимірювання якості без здогадок

Три вимірювання охоплюють більшість потреб. Золотий стандартний набір, який ви позначили самостійно і ніколи не ділитеся ним, дає вам абсолютний бал для кожної партії. Згода між анотаторами на навмисно перекритому підмножині говорить вам, чи добре визначено саме завдання, що відрізняється від того, чи добре його виконує окрема особа. А зразок для перевірки, де друга особа перевіряє фіксований відсоток, дає вам рівень помилок, який ви можете відстежувати з часом. Визначте всі три числа до першого замовлення та впишіть їх у бриф, щоб стандарт не був ретроспективним.

Дисбаланс класів і що маркувати далі

Випадково відібрані дані зазвичай домінують легким, поширеним випадком, і модель швидко це вивчає, а потім перестає покращуватися. Після того, як перша партія позначена і модель навчена, корисне питання перестає бути скільки ще даних і стає які дані. Елементи, щодо яких модель найменш впевнена, елементи, щодо яких два анотатори не погодилися, та елементи з недостатньо представлених класів — усі вони коштують більше за мітку, ніж ще тисяча випадкових рядків. Ось чому купівля партіями перевершує одне велике замовлення: лише першу партію можна вибрати наосліп.

Конфіденційність, редагування та регульовані дані

Розглядайте етап анотації як передачу даних, тому що це так. Редагуйте або деідентифікуйте дані, перш ніж вони покинуть ваші системи, якщо це дозволяє завдання — обличчя, номерні знаки, імена, номери рахунків, адреси. Надсилайте зразок, а не все. Використовуйте доступ до робочої області, яку ви контролюєте, з терміном дії замість постійних завантажень, і відкликайте його між партіями. Включіть зобов'язання щодо конфіденційності та видалення до брифу замовлення, щоб вони були частиною угоди, і зберігайте обмін всередині Zinn Hub, де є запис про те, що було передано і коли. Для даних про здоров'я, фінансових або біометричних даних зверніться за власною юридичною консультацією щодо того, що взагалі може бути передано — Zinn Hub не сертифікує жоден набір даних або передачу як відповідні.

Формати, конвертери та передача

Узгодьте точний формат виводу письмово та попросіть зразок з п'яти елементів до початку партії. COCO, YOLO та Pascal VOC відрізняються тим, як вони виражають координати, чи нормалізовані значення та де знаходиться початок, тому файл, який виглядає правильно, все одно може завантажитися неправильно. Для тексту вкажіть, чи базуються зміщення на символах чи токенах та який токенізатор. Запитуйте контрольну суму або кількість рядків з кожною доставкою та завантажуйте кожну партію у свій фактичний конвеєр у день її надходження, а не в кінці — проблема формату, виявлена в першій партії, є тривіальною, а та сама проблема, виявлена в двадцятій партії, — це два тижні.

Де анотація знаходиться в ширшому конвеєрі

Маркування — це середина ланцюга. Перед ним знаходиться збір, що може означати веб-скрейпінг та вилучення даних, закупівлю або інструментування вашого власного продукту; та очищення, що є категорією очищення даних. За ним знаходиться навчання, оцінка та цикл перенавчання, де фахівці з MLOps заробляють свою плату, та звітність, що є ринком аналітики даних. Купівля всього ланцюга в однієї особи є зручною та усуває корисну перевірку; купівля кожного етапу окремо дозволяє перевіряти кожен крок.

Початок роботи на Zinn Hub

Напишіть інструкцію, назвіть формат, потім надішліть сто елементів двом або трьом Zinners як Micro Zinns за фіксованою ціною та порівняйте отримані результати. Оцінюйте кожну партію за золотим стандартом, який ви зберігаєте для себе, та оновлюйте інструкцію щоразу, коли виникає неоднозначність. Якщо ваш набір даних великий або домен спеціалізований, опублікуйте безкоштовний проект анотації, описуючи обсяг, тип завдання та планку якості, та порівняйте пропозиції від перевірених Zinners замість того, щоб шукати пропозиції. Ви також можете найняти безпосередньо з каталогу фрілансерів з анотації даних. Продаєте цю роботу, а не купуєте? Почніть з нашого посібника з продажу послуг машинного навчання.