从经过验证的专家那里购买数据标注服务

购买数据标注的实用指南

标注是机器学习项目中唯一能可靠地将资金转化为模型性能的部分，也是最常被错误购买的部分。失败的原因很少是标注者。通常是买家发送了原始数据和类别列表，收到了他们要求的东西，然后才发现类别列表中包含三个没有人解决的歧义。

指南即产品

在购买标签之前，请购买或编写一份文档，告诉人们如何制作这些标签。一份可用的标注指南会命名每个类别，用一句话定义它，展示一个正面和负面示例，然后将大部分篇幅用于边界情况：部分超出画框的对象、既是抱怨又是问题的句子、以及说话时被他人打断的说话者。它还会说明当没有任何内容符合时该怎么做——是标记、跳过还是使用一个包罗万象的类别。首先编写这份文档的团队总体花费更少，因为重新标注是昂贵的活动，而不是标注。

选择正确的任务类型

将标注与模型必须做出的决策相匹配，而不是与看起来全面的内容相匹配。如果您的产品只需要知道某个项目是否存在，那么全图像分类就足够了，而分割掩码则是预算的浪费。如果需要计数，框就足够了。当边界确实很重要时——测量面积、分离接触的物体或处理不规则形状时，掩码才能体现其价值。同样的逻辑也适用于文本：文档级分类比跨度级实体标记便宜得多，而且通常足够。

无需猜测即可衡量质量

三种测量方法可以满足大多数需求。您自己标注且从不共享的黄金标准集可以为您提供每个批次的绝对分数。在故意重叠的子集上进行标注者间协议可以告诉您任务本身是否定义良好，这与个人是否做得好不同。而审查样本，即第二个人检查固定百分比，可以为您提供随时间变化的错误率。在第一个订单之前确定所有这三个数字，并将它们写入简报中，以便标准不是追溯性的。

类别不平衡以及接下来要标注什么

随机采样的数据通常由简单、常见的情况主导，模型很快就能学会这一点，然后停止改进。一旦第一批数据被标注并训练了模型，有用的问题就不再是需要多少更多数据，而是需要哪些数据。模型最不确定的项目、两个标注者意见不一致的项目以及来自代表性不足类别的项目，每个标签的价值都比另外一千个随机行更高。这就是为什么分批购买优于一次性大订单：只有第一批数据可以盲选。

隐私、修订和受管制数据

将标注步骤视为数据传输，因为它确实是。在数据离开您的系统之前，如果任务允许，请进行修订或去识别化——面部、车牌、姓名、账号、地址。发送样本而不是全部。使用您控制的工作空间的过期访问权限，而不是永久下载，并在批次之间撤销它。将保密和删除义务写入订单简报中，使其成为协议的一部分，并将交换保留在Zinn Hub内，那里有共享内容和时间的记录。对于健康、金融或生物识别数据，请自行寻求法律建议，了解哪些内容可以共享——Zinn Hub不认证任何数据集或传输符合规定。

格式、转换器和交接

书面同意确切的输出格式，并在批次开始前要求提供五项样本。COCO、YOLO和Pascal VOC在表达坐标、值是否标准化以及原点位置方面有所不同，因此看起来正确的文件仍然可能加载错误。对于文本，请指定偏移量是基于字符还是基于标记，以及使用哪个标记器。要求每次交付时提供校验和或行计数，并在收到当天而不是最后将每个批次加载到您的实际管道中——在第一批中发现的格式问题是微不足道的，而在第二十批中发现的相同问题则需要两周时间。

标注在更广泛的管道中的位置

标注是链条的中间环节。它前面是收集，这可能意味着网络抓取和数据提取、购买或对您自己的产品进行检测；以及清洗，即数据清洗类别。它后面是训练、评估和再训练循环，这是MLOps专家赚取费用的地方，以及报告，即数据分析市场。从一个人那里购买整个链条很方便，但会消除一个有用的检查；单独购买每个阶段可以使每个步骤都可检查。

Zinn Hub 入门

编写指南，命名格式，然后将一百个项目作为固定价格的Micro Zinns发送给两到三个Zinners，并比较返回的结果。根据您自己保留的黄金标准集对每个批次进行评分，并在每次出现歧义时更新指南。如果您的数据集很大或领域是专业的，发布一个免费的标注项目，描述数量、任务类型和质量标准，并比较经过验证的Zinners的提案，而不是追逐报价。您也可以直接从数据标注自由职业者目录招聘。是出售这项工作而不是购买吗？请从我们的销售机器学习服务指南开始。