[发明专利]一种基于智能分配算法的数据标注系统及方法

说明书

本发明公开了一种基于智能分配算法的数据标注系统及方法，具体涉及数据处理领域，包括数据解析模块、特征获取模块和智能分配模块，所述数据解析模块输出端与特征获取模块输入端连接，所述特征获取模块输出端与智能分配模块输入端连接；具体处理步骤如下：利用数据解析模块筛选出小规模兼具代表性及指示性的关键数据作为“先行数据”；标注员对“先行数据”进行试探性标注、精标及分析，得到“标准答案”并动态匹配后取每个标注员的专属标注特征；利用智能分配模块对余下的数据进行智能分配。本发明利用智能分配算法能将数据的人工处理失误率降低，在文本类型数据的人工处理任务中，人工失误率可降低20～30％左右。

技术领域

本发明涉及数据处理技术领域，更具体地说，本发明涉及一种基于智能分配算法的数据标注系统及方法。

背景技术

目前大多数AI实验室、初创型AI公司在发展初期如果雇佣大量的人力进行数据标注，就不得不面临下面两种处境：

首先对公司的管理方面就是巨大的挑战，在研发产品的同时还得把大量精力放在如何管理大量标注入员身上；

其次大量全职的标注人员的薪酬对于初创型公司和研究实验室也是一个不小的挑战；

由标注员对数据进行标注，但是标注员的标注素养水平不一，导致人工处理失误率较高。

发明内容

为了克服现有技术的上述缺陷，本发明的实施例提供一种基于智能分配算法的数据标注系统及方法，通过利用智能分配算法能将数据的人工处理失误率降低，且采用本方法后，核心团队会全程进行针对标注员的质量抽查，期间会采用半监督式深度学习来完善相关的模块，对已标注的数据进行跟踪式质量把关，标注质量大大提升，能够最大限度提高标注效率及标注质量，并且智能分配模块在标注期间会统筹协调每个标注员的任务负担，并根据他们在“先行数据”上面的表现进行针对性的薪资发放。

为实现上述目的，本发明提供如下技术方案：一种基于智能分配算法的数据处理系统，包括数据解析模块、特征获取模块和智能分配模块，所述数据解析模块输出端与特征获取模块输入端连接，所述特征获取模块输出端与智能分配模块输入端连接；

所述数据解析模块用于针对不同的任务采取不同的深度学习模型，结合Attention机制相关的协调算法，配合多模型融合方案，最大限度发挥模块的潜力，得到给定数据的基本量化特征，技术团队会根据该特征进行分析，制定适合该批数据的处理方案；

所述特征获取模块用于使用LCS动态规划算法，配合半监督式深度学习算法，对样本数据进行解析，该模块旨在以最高效最紧凑的方式，对标注员的标注特征进行解读、归纳、存储与再利用，不再将数据任务独立对待，而是将数据与人紧密相连，得到更科学高效的“数据+人”处理机制；

所述智能分配模块用于利用已获取的特征及量化资源，给定条件限制及目标预期，得到最优的方案设定及任务分配机制；该模块支持动态的管理监督机制，根据前线的反馈随时调整正在运行的分配机制及方案设定，从而达到最高效最安全的数据管理模式。

在一个优选地实施方式中，所述数据解析模块包括模型数据库，所述模型数据库内部存储有多个不同的深度学习模型。

在一个优选地实施方式中，所述Attention机制相关的协调算法具体为 CNN算法和LSTM算法。

本发明还包括一种基于智能分配算法的数据处理方法，具体处理步骤如下：

S1、在总耗时1小时以内：首先，给定待处理的大批量数据(百万级别)，由技术团队商讨并从针对十余种特定任务的数据解析模块中挑选适合该批数据的数据解析模块，并使用该数据解析模块将全部数据整体快速过一遍，筛选出小规模兼具代表性及指示性的关键数据作为“先行数据”；