Покупайте услуги по аннотации данных у проверенных экспертов

Практическое руководство по покупке аннотации данных

Аннотация — это та часть проекта машинного обучения, где деньги надежно конвертируются в производительность модели, а также та часть, которую чаще всего покупают неправильно. Причина неудачи редко кроется в аннотаторе. Обычно это происходит потому, что покупатель отправил необработанные данные и список классов, получил именно то, что просил, а затем обнаружил, что список классов содержал три неоднозначности, которые никто не разрешил.

Руководство — это продукт

Прежде чем покупать метки, купите или напишите документ, который объясняет, как их создавать. Удобное руководство по аннотации называет каждый класс, определяет его одним предложением, показывает положительный и отрицательный пример, а затем большую часть своего объема посвящает пограничным случаям: объект частично вне кадра, предложение, которое является одновременно жалобой и вопросом, говорящий, который перебивает другого. Оно также указывает, что делать, когда ничего не подходит — флаг, пропуск или класс все остальное. Команды, которые сначала пишут это, тратят меньше в целом, потому что переразметка — это дорогостоящая деятельность, а не разметка.

Выбор правильного типа задачи

Сопоставьте аннотацию с решением, которое должна принять модель, а не с тем, что выглядит исчерпывающим. Если вашему продукту нужно только знать, присутствует ли элемент, классификации всего изображения достаточно, а маска сегментации — это пустая трата бюджета. Если ему нужно считать, достаточно рамок. Маски окупают свою стоимость, когда границы действительно важны — измерение площади, разделение соприкасающихся объектов или работа с неправильными формами. Та же логика применима к тексту: классификация на уровне документа намного дешевле, чем тегирование сущностей на уровне диапазона, и часто достаточна.

Измерение качества без догадок

Три измерения покрывают большинство потребностей. Золотой стандартный набор, который вы разметили самостоятельно и никогда не делитесь, дает вам абсолютную оценку для каждой партии. Согласованность между аннотаторами по намеренно перекрывающемуся подмножеству говорит вам, хорошо ли определена сама задача, что отличается от того, хорошо ли ее выполняет отдельный человек. А образец для проверки, где второй человек проверяет фиксированный процент, дает вам частоту ошибок, которую вы можете отслеживать со временем. Определите все три числа до первого заказа и включите их в бриф, чтобы стандарт не был ретроспективным.

Дисбаланс классов и что размечать дальше

Случайно выбранные данные обычно доминируют легкие, распространенные случаи, и модель быстро их изучает, а затем перестает улучшаться. После того как первая партия размечена и модель обучена, полезный вопрос перестает быть сколько еще данных и становится какие данные. Элементы, в которых модель наименее уверена, элементы, по которым два аннотатора не согласились, и элементы из недопредставленных классов стоят больше за метку, чем еще тысяча случайных строк. Вот почему покупка партиями лучше, чем один большой заказ: только первая партия может быть выбрана вслепую.

Конфиденциальность, редактирование и регулируемые данные

Рассматривайте этап аннотации как передачу данных, потому что это так и есть. Редактируйте или деидентифицируйте данные до того, как они покинут ваши системы, если это позволяет задача — лица, номерные знаки, имена, номера счетов, адреса. Отправляйте образец, а не все. Используйте временный доступ к контролируемому вами рабочему пространству вместо постоянных загрузок и отзывайте его между партиями. Включите обязательство о конфиденциальности и удалении в бриф заказа, чтобы они были частью соглашения, и осуществляйте обмен внутри Zinn Hub, где есть запись о том, что и когда было передано. Для данных о здоровье, финансовых или биометрических данных получите собственную юридическую консультацию о том, что вообще может быть передано — Zinn Hub не сертифицирует какой-либо набор данных или передачу как соответствующую требованиям.

Форматы, конвертеры и передача

Согласуйте точный формат вывода в письменной форме и запросите образец из пяти элементов до начала партии. COCO, YOLO и Pascal VOC различаются в том, как они выражают координаты, нормализованы ли значения и где находится начало координат, поэтому файл, который выглядит правильно, все равно может загрузиться неправильно. Для текста укажите, основаны ли смещения на символах или токенах и какой токенизатор. Запрашивайте контрольную сумму или количество строк с каждой доставкой и загружайте каждую партию в свой фактический конвейер в день ее поступления, а не в конце — проблема формата, обнаруженная в первой партии, тривиальна, а та же проблема, обнаруженная в двадцатой партии, займет две недели.

Место аннотации в более широком конвейере

Разметка — это середина цепочки. Перед ней находится сбор, который может означать веб-скрейпинг и извлечение данных, покупку или инструментарий вашего собственного продукта; и очистка, которая является категорией очистки данных. За ней следует обучение, оценка и цикл переобучения, где специалисты по MLOps зарабатывают свою плату, и отчетность, которая является рынком аналитики данных. Покупка всей цепочки у одного человека удобна и устраняет полезную проверку; покупка каждого этапа отдельно позволяет проверять каждый шаг.

Начало работы на Zinn Hub

Напишите руководство, назовите формат, затем отправьте сто элементов двум или трем Zinners в качестве Micro Zinns по фиксированной цене и сравните полученные результаты. Оценивайте каждую партию по золотому стандартному набору, который вы храните у себя, и обновляйте руководство каждый раз, когда возникает неоднозначность. Если ваш набор данных большой или область специализирована, опубликуйте бесплатный проект по аннотации, описывающий объем, тип задачи и планку качества, и сравните предложения от проверенных Zinners вместо того, чтобы запрашивать расценки. Вы также можете нанять напрямую из каталога фрилансеров по аннотации данных. Продаете эту работу, а не покупаете? Начните с нашего руководства по продаже услуг машинного обучения.