[发明专利]众包平台实现方法及装置、存储介质和电子设备

权利要求书

1.一种众包平台实现方法，其特征在于，包括：

获取由发布方发送并经由中转仓库规范化处理后的待标注数据集，所述待标注数据集由所述中转仓库判断接收到的数据集的数据格式与众包平台统一处理的数据格式不相同之后，转换数据格式得到，和/或判断接收到的数据集的数据格式与众包平台统一处理的数据格式相同之后，存储得到；

将所述待标注数据集划分成数据子集；

将所述数据子集发送至用户端以供标注人员进行标注；

接收所述用户端发送的标注后的数据；以及

确定针对同一数据子集进行标注的多个标注人员的标注后的数据之间的差异内容；

将所述差异内容对应的待标注数据提供给裁定人员，由所述裁定人员对所述差异内容对应的待标注数据进行标注以得到与所述差异内容对应的标准答案，所述裁定人员为预先评选出的标注正确率高的一个或多个人；

根据所述标准答案对所述多个标注人员进行绩效统计；

其中，所述将所述待标注数据集划分成数据子集，包括：

根据标注人员的数量和/或所述待标注数据集中的数据类型和/或数据集划分算法，将所述待标注数据集划分成数据子集；

其中，将所述数据子集发送至用户端以供标注人员进行标注，包括：

获取针对数据子集的标注建议，并在将数据子集发送至用户端时，将该标注建议发送至用户端以便所述标注人员获知所述标注建议；

其中，该标注建议可以基于标准数据集和/或历史标注建议和/或标注偏好并结合机器学习的训练过程确定。

2.根据权利要求1所述的众包平台实现方法，其特征在于，所述众包平台实现方法还包括：

将所述多个标注人员的标注后的数据的相同内容以及所述标准答案发送至所述中转仓库以供所述发布方获取。

3.根据权利要求1所述的众包平台实现方法，其特征在于，获取针对所述数据子集的标注建议包括：

获取标准数据集；

基于所述标准数据集确定针对所述数据子集的标注建议；

获取所述标注建议。

4.根据权利要求1或3所述的众包平台实现方法，其特征在于，所述众包平台实现方法还包括：

在将所述数据子集发送至用户端时，获取针对所述数据子集的标注规则以控制所述用户端基于所述标注规则渲染标注界面。

5.一种众包平台实现装置，其特征在于，包括：

数据集获取模块，用于获取由发布方发送并经由中转仓库规范化处理后的待标注数据集，所述待标注数据集由所述中转仓库判断接收到的数据集的数据格式与众包平台统一处理的数据格式不相同之后，转换数据格式得到，和/或判断接收到的数据集的数据格式与众包平台统一处理的数据格式相同之后，存储得到；

数据集划分模块，用于将所述待标注数据集划分成数据子集；

数据子集发送模块，用于将所述数据子集发送至用户端以供标注人员进行标注；

数据接收模块，用于接收所述用户端发送的标注后的数据；以及

绩效统计模块，用于比较针对同一数据子集进行标注的多个标注人员的标注后的数据，并根据比较结果对所述多个标注人员进行绩效统计；

所述绩效统计模块包括：

差异内容确定单元，用于确定针对同一数据子集进行标注的多个标注人员的标注后的数据之间的差异内容；

差异内容发送单元，用于将所述差异内容对应的待标注数据提供给裁定人员，由所述裁定人员对所述差异内容对应的待标注数据进行标注以得到与所述差异内容对应的标准答案；

绩效统计单元，用于根据所述标准答案对所述多个标注人员进行绩效统计，所述裁定人员为预先评选出的标注正确率高的一个或多个人；

其中，数据集划分模块被配置为：

根据标注人员的数量和/或所述待标注数据集中的数据类型和/或数据集划分算法，将所述待标注数据集划分成数据子集；

其中，数据子集发送模块被配置为：

获取针对数据子集的标注建议，并在将数据子集发送至用户端时，将该标注建议发送至用户端以便所述标注人员获知所述标注建议；

其中，该标注建议可以基于标准数据集和/或历史标注建议和/或标注偏好并结合机器学习的训练过程确定。