[发明专利]一种面向大数据的深度学习方法及系统

摘要

本发明提供一种面向大数据的深度学习方法及系统，该系统包括大数据引擎Spark、Protobuf工具、轻量级数据存储LMDB、Caffe深度学习Solver和MPI通信库；所述大数据引擎Spark将待处理数据进行数据处理；所述Protobuf工具将Spark处理后的数据序列化；所述轻量级数据存储LMDB将大数据引擎Spark和Caffe深度学习Solver以松散耦合的形式进行组织；所述Caffe深度学习Solver中每个节点的Caffe Solver通过LMDB访问该节点待训练的数据，并执行深度网络训练；所述MPI通信库聚合不同节点Caffe深度学习Solver的计算结果。

主权项

一种面向大数据的深度学习方法，其步骤包括：1)将待处理的数据导入Spark DataFrames，并进行分布式数据处理；2)用Protobuf对处理后的数据进行序列化，并存储到LMDB；3)Caffe从LMDB读取上述数据到Blob，执行深度网络迭代训练，更新深度网络参数；4)MPI聚合不同节点Solver的计算结果；5)Spark异步监控计算结果并输出训练精度；6)重复3)～5)直到训练过程被Spark终止。