[发明专利]一种分布式数据识别方法及系统

说明书

技术领域

本发明涉及数据识别领域，具体涉及一种分布式数据识别方法及系统。

背景技术

在现代数据识别应用中，例如图像识别、手写文字辨识、系统模式辨识中，神经元网络算法已经被大量应用。而在多种神经元网络算法中，反向传播神经元网络(Back Propagation Neural Network,BPNN)又是应用最为广泛的一种算法。目前已经有数学证明给出明确结论，在一定数量的神经元和一定数量网络层的支持下，通过每个神经元中的线性部分和非线性部分的组合，该神经元网络可以以任意精度逼近任何连续函数。以上特性为BPNN的广泛应用奠定了坚实的基础。因为任何一种数据辨识应用的本质即为函数拟合，而BPNN的特性可以良好的适用数据辨识应用的需求。

典型结构的BPNN中包括输入层和输出层，输入层包含多个输入端，输出层包含多个输出端，BPNN中还包括多个神经元，神经元处于隐层中。在执行数据辨识中，待辨识数据从输入层输入，辨识结果从输出层输出。

但是在当前大数据应用的背景下，BPNN的先天缺陷导致其在大数据处理中的效率极为低下，主要原因为：作为有监督的启发式机器学习算法，BPNN需要对算法进行训练。而伴随数据体量增大，训练时间将大大变长，严重影响算法效率。

发明内容

因此，本发明要解决的技术问题在于克服现有的数据识别方法效率低缺陷。

有鉴于此，本发明提供一种分布式数据识别方法，包括：

对所有待识别数据进行分割以形成多个数据块，所述数据块中包括用于训练的待识别数据和用于检测的待识别数据；

MapReduce架构中的各个Map Function计算单元分别获取不同的所述数据块；

所述各个Map Function计算单元分别利用获取到的数据块中的用于训练的待识别数据对本地预设的神经网络模型进行训练；

在训练过程结束后，所述各个Map Function计算单元分别利用经过训练的所述神经网络模型对获取到的数据块中的用于检测的待识别数据进行识别以得到识别结果；

所述MapReduce架构中的Reduce Function单元获取所述各个Map Function计算单元的所述识别结果，并对所有识别结果进行筛选以得到一个识别结果。

优选地，所述对所有待识别数据进行分割以形成多个数据块，包括：

采用自助算法对所有待识别数据进行有放回抽样，以形成多个子样本集合，所述自助算法中的有放回次数与所述Map Function计算单元的数量相同；

分别对所述子样本集合中的待识别数据进行归一化处理以得到归一化待识别数据s_k；

采用数据结构<instance_k,target_k,type>分别将s_k存储在多个数据块中，其中，instance_k为s_k，target_k为s_k的训练目标，type为待识别数据的用途，所述用途包括训练用途和检测用途；

将所有数据块存储至分布式文件系统中。

优选地，所述各个Map Function计算单元分别利用获取到的数据块中的用于训练的待识别数据对本地预设的神经网络模型进行训练，包括：

各个Map Function计算单元分别从所述分布式文件系统中读取不同的数据块；

各个Map Function计算单元中的神经网络模型分别根据字段type确定s_k的用途，对于训练用途的s_k，则神经网络模型从输入层输入s_k，针对每一层的神经元执行正向传递；

当正向传递执行至输出层后，正向传递过程结束，神经网络模型对训练数据s_k进行反向传递；

各个Map Function计算单元针对每一训练用途的s_k执行预定次数的正向传递和反向传递，直至所有训练用途的s_k均被处理完毕。

优选地，所述针对每一层的神经元执行正向传递，包括：

在所述神经网络模型的每一个神经元内，其线性部分执行：

I_j＝∑_iw_ijo_j′+θ_j，