[发明专利]一种基于众包的数据智能处理方法及装置

说明书

本发明公开了一种基于众包的数据智能处理方法及装置，来对众包数据集进行整合，并可以在此基础上对有缺失项的众包数据集进行预测。该方法提取了数据集中众包任务的特征，通过工人标注任务的一致性程度来刻画工人特征，从而构成完整的训练数据集。采用竞争神经网络的方式对训练数据集进行无监督聚类。竞争神经网络通过自动寻找样本中的内在规律和本质属性，自组织，自适应地改变网络参数，通过激活获胜神经元的方法来输出唯一神经元进行聚类。训练好的竞争神经网络模型可以对未标注的任务或者有缺失项的数据进行补全预测。

技术领域

本发明属于众包数据智能处理技术领域，具体涉及一种基于众包的数据智能处理方法及装置。

背景技术

众包技术是通过在互联网中发布一些计算机难以求解的问题，通常任务会通过一些激励手段来促使网络大众去完成的一个过程。因为网络中的人群是未知的，进而答案本身也就有不确定性，所以通过整合计算任务数据尤为重要。

自2009年开始，众包技术在各个领域得到广泛的关注，包括人工智能，人机交互，数据据等领域已经成为一个热点研究对象，其中问题求解，任务答案整合的方法手段也备受关注。

本发明将众包数据集进行竞争神经网络学习来聚类，聚类结果设定为两类，进而可以分析任务标注的正确与否。通过该方法进行真值推理不仅可以在数据完整的情况下进行分析，当数据有缺失项的时候，可以通过补全数据进而对数据进行求解。

发明内容

针对众包数据集求解分析问题，本发明提供了一种基于众包的数据智能处理方法及装置，使得众包任务可以通过神经网络得以求解。

本发明解决其技术问题采用的技术方案如下：

一方面，本申请提出一种基于众包的数据智能处理方法，该方法包括：

(1)将带着任务特征的N个任务以冗余的方式分发给多个工人，得到工人标注信息；将工人标注信息与发布的任务信息进行合并，得到完整的众包数据集，所述众包数据集中的单个数据点包含每个任务对应的任务编号、任务特征、工人编号和工人标注信息。一个任务可以由多个工人来标注，一个工人可以标注多个任务。

(2)通过多数人投票的方法来刻画每个工人标注任务的一致性程度，将量化后的一致性程度作为工人特征。

(3)将任务特征与步骤(2)得到的工人特征合并后作为训练数据集。训练数据集中的每一行包含任务特征向量与工人特征值，训练数据集的每一行作为一项输入样本。

(4)构建竞争神经网络模型，包括输入层和竞争层，所述输入层的节点数与输入数据集的单个样本维度一致，所述竞争层设有两个输出神经元，每个神经元设置对应的权值向量分别记为W₁和W₂，用于对输入数据集进行二聚类。

(5)初始化竞争层两个权值向量，用步骤(3)得到的训练数据集对竞争神经网络模型进行训练。

(6)对于待处理的完整的众包数据集，输入到训练好的竞争神经网络模型中，通过聚类来判断其标注的准确性。

(7)对于待处理的有缺失项的众包数据集，将其进行补全后，输入到训练好的竞争神经网络模型中，通过聚类来判断补全后标注的准确性。

进一步地，步骤(2)中包含以下步骤：

(2-1)统计每个任务的所有工人标注，以多数人投票方式选取一个最多工人选择的标注作为当前的参考真值。如果有多个此类标注，则随机选取一个作为参考真值。