[发明专利]一种基于众包的数据智能处理方法及装置

权利要求书

1.一种基于众包的数据智能处理方法，其特征在于，该方法包括：

(1)将带着任务特征的N个任务以冗余的方式分发给多个工人，得到工人标注信息；将工人标注信息与发布的任务信息进行合并，得到完整的众包数据集，所述众包数据集中的单个数据点包含每个任务对应的任务编号、任务特征、工人编号和工人标注信息；

(2)通过多数人投票的方法来刻画每个工人标注任务的一致性程度，将量化后的一致性程度作为工人特征；

(3)将任务特征与步骤(2)得到的工人特征合并后作为训练数据集，训练数据集中的每一行包含任务特征向量与工人特征值，每一行作为一项输入样本；

(4)构建竞争神经网络模型，包括输入层和竞争层，所述输入层的节点数与输入数据集的单个样本维度一致，所述竞争层设有两个输出神经元，每个神经元设置对应的权值向量分别记为W₁和W₂，用于对输入数据集进行二聚类；

(5)初始化竞争层两个权值向量，利用步骤(3)得到的训练数据集对竞争神经网络模型进行训练；

(6)对于待处理的完整的众包数据集，输入到训练好的竞争神经网络模型中，通过聚类来判断其标注的准确性；

(7)对于待处理的有缺失项的众包数据集，将其进行补全后，输入到训练好的竞争神经网络模型中，通过聚类来判断补全后标注的准确性。

2.根据权利要求1所述的基于众包的数据智能处理方法，其特征在于，步骤(2)中包含以下步骤：

(2-1)统计每个任务的所有工人标注，以多数人投票方式选取一个最多工人选择的标注作为当前的参考真值，如果有多个此类标注，则随机选取一个标注作为参考真值；

(2-2)统计每个工人标注过的所有任务数量，对于工人i，其标注过的所有任务数量记为q_i，统计该工人标注的所有任务中其标注与参考真值相符合的任务数量p_i，刻画众包数据集中工人标注任务的一致性程度S_i，S_i＝p_i/q_i；

(2-3)将量化后的一致性程度作为工人特征。

3.根据权利要求1所述的基于众包的数据智能处理方法，其特征在于，步骤(5)中初始化竞争层权值向量具体为：

(a)竞争层两个神经元分别设置对应的权值向量W₁和W₂，权值向量的维度与输入样本的维度相同，可以从训练数据集中随机抽取输入样本作为初始权值向量，也可以计算全体输入样本的质心，然后在质心的基础加减一些小的随机值作为初始权值向量；

(b)分别对W₁和W₂进行归一化处理，将竞争层权值向量变成方向不变，向量长度为1的单位向量。

4.根据权利要求l所述的基于众包的数据智能处理方法，其特征在于，步骤(5)中训练数据集对竞争神经网络模型进行训练包含以下步骤：

(5-1)记步骤(3)中得到的训练数据集为X，其中每一行的输入样本记为x_i，i＝1，2，3，...，n，n为训练数据集X的行数；

(5-2)对训练数据集X进行归一化处理；

(5-3)每次输入一个新的样本x_i时，便计算获胜神经元，具体为：将竞争层的两个权值向量分别与输入样本的向量依据范数距离进行相似性比较，将相似性最大的权值向量所对应的神经元作为获胜神经元；

(5-4)调整步骤(5-3)得到的获胜神经元所对应的权值向量，调整公式如下：

其中表示调整后的获胜神经元的权值向量，W_j表示待调整的获胜神经元的权值向量，η表示学习率；

(5-5)设定学习率η随着学习的过程逐渐减小；

(5-6)对调整后的权值向量进行归一化处理。