[发明专利]数据分发方法、装置及系统

说明书

本申请实施例提供一种数据分发方法、装置及系统，该方法包括：获取多个待标注数据和每个所述待标注数据的至少一个属性信息；根据所述至少一个属性信息，确定所述多个待标注数据中的任意两个待标注数据之间的相似度；根据所述任意两个待标注数据之间的相似度，向客户端发送待标注数据序列，所述待标注数据序列中包括所述多个待标注数据中的全部或部分待标注数据。本申请实施例中各客户端接收到的待标注数据之间关联性较高，提高了标注的效率。

技术领域

本申请实施例涉及机器学习技术领域，尤其涉及一种数据分发方法、装置及系统。

背景技术

机器学习训练需要大量的结构化数据，而结构化数据是由标注人员对原始数据进行标注得到的。

结构化数据中通常具有多个实体、属性等信息，目前的数据标注方式是对标注人员进行培训，识别各种实体属性如何进行标注。在标注过程中，标注任务的分发是随机进行发送的，人工标注的效率较低。

因此，现在亟需一种方法解决人工标注机器学习训练数据的效率较低的问题。

发明内容

本申请实施例提供一种数据分发方法、装置及系统，以解决人工标注机器学习训练数据的效率较低的问题。

第一方面，本申请实施例提供一种数据分发方法，包括：

获取多个待标注数据和每个所述待标注数据的至少一个属性信息；

根据所述至少一个属性信息，确定所述多个待标注数据中的任意两个待标注数据之间的相似度；

根据所述任意两个待标注数据之间的相似度，向客户端发送待标注数据序列，所述待标注数据序列中包括所述多个待标注数据中的全部或部分待标注数据。

在一种可能的实施方式中，根据所述任意两个待标注数据之间的相似度，向客户端发送待标注数据序列，包括：

根据所述多个待标注数据和所述任意两个待标注数据之间的相似度，获取至少一个待标注数据序列，其中，同一个待标注数据序列中的任意两个待标注数据之间的相似度大于不同的待标注数据序列中的任意两个待标注数据之间的相似度；

向所述客户端发送所述至少一个待标注数据序列。

在一种可能的实施方式中，根据所述多个待标注数据和所述任意两个待标注数据之间的相似度，获取至少一个待标注数据序列，包括：

根据所述任意两个待标注数据之间的相似度，对所述多个待标注数据进行排序，得到排序后的待标注数据；

根据所述排序后的待标注数据，获取所述至少一个待标注数据序列。

在一种可能的实施方式中，向所述客户端发送所述至少一个待标注数据序列，包括：

针对所述至少一个待标注数据序列中的任意待标注数据序列i，向第一客户端发送所述待标注数据序列i中的任意待标注数据；

从所述第一客户端接收所述任意待标注数据的标注结果，并在所述待标注数据序列i中除所述任意待标注数据外的其他待标注数据上添加所述标注结果；

向第二客户端发送所述待标注数据序列i中添加了所述标注结果的待标注数据。

在一种可能的实施方式中，根据所述至少一个属性信息，确定所述多个待标注数据中的任意两个待标注数据之间的相似度，包括：

获取标注任务；

确定每个属性信息与所述标注任务的关联度；

根据每个属性信息与所述标注任务的关联度，确定所述多个待标注数据中的任意两个待标注数据之间的相似度。