[发明专利]一种分布式数据识别方法及系统

权利要求书

1.一种分布式数据识别方法，其特征在于，包括：

对所有待识别数据进行分割以形成多个数据块，所述数据块中包括用于训练的待识别数据和用于检测的待识别数据；

MapReduce架构中的各个Map Function计算单元分别获取不同的所述数据块；

所述各个Map Function计算单元分别利用获取到的数据块中的用于训练的待识别数据对本地预设的神经网络模型进行训练；

在训练过程结束后，所述各个Map Function计算单元分别利用经过训练的所述神经网络模型对获取到的数据块中的用于检测的待识别数据进行识别以得到识别结果；

所述MapReduce架构中的Reduce Function单元获取所述各个Map Function计算单元的所述识别结果，并对所有识别结果进行筛选以得到一个识别结果。

2.根据权利要求1所述的方法，其特征在于，所述对所有待识别数据进行分割以形成多个数据块，包括：

采用自助算法对所有待识别数据进行有放回抽样，以形成多个子样本集合，所述自助算法中的有放回次数与所述Map Function计算单元的数量相同；

分别对所述子样本集合中的待识别数据进行归一化处理以得到归一化待识别数据s_k；

采用数据结构<instance_k,target_k,type>分别将s_k存储在多个数据块中，其中，instance_k为s_k，target_k为s_k的训练目标，type为待识别数据的用途，所述用途包括训练用途和检测用途；

将所有数据块存储至分布式文件系统中。

3.根据权利要求2所述的方法，其特征在于，所述各个Map Function计算单元分别利用获取到的数据块中的用于训练的待识别数据对本地预设的神经网络模型进行训练，包括：

各个Map Function计算单元分别从所述分布式文件系统中读取不同的数据块；

各个Map Function计算单元中的神经网络模型分别根据字段type确定s_k的用途，对于训练用途的s_k，则神经网络模型从输入层输入s_k，针对每一层的神经元执行正向传递；

当正向传递执行至输出层后，正向传递过程结束，神经网络模型对训练数据s_k进行反向传递；

各个Map Function计算单元针对每一训练用途的s_k执行预定次数的正向传递和反向传递，直至所有训练用途的s_k均被处理完毕。