[发明专利]一种基于MIC集群的深度学习框架Caffe系统及算法

权利要求书

1.一种基于MIC集群的深度学习框架Caffe系统，其特征在于，包括，MIC集群内多节点，所述节点包括主节点和从节点，各节点与数据库连接，并通过MPI通信共享数据和任务；所述主节点负责对各节点反馈的信息进行计算汇总后将更新后的参数分发至各节点；从节点利用新参数进行下一轮迭代计算，并将执行结果反馈给主节点。

2.如权利要求1所述的基于MIC集群的深度学习框架Caffe系统，其特征在于，节点内包含多进程，每个节点内设置1对n方式，一个主进程和n个从进程；主进程负责从数据库中读取数据并将数据分发给该节点内对应的n个从进程，从进程接收数据后进行ForwardBackward计算。

3.根据权利要求1所述的一种基于MIC集群的深度学习框架Caffe算法，其特征在于，通过MPI技术运行在MIC集群多节点上，各节点间通过MPI通信将任务和数据均分，不同节点间并行执行子任务、处理子数据，进行Caffe中ForwardBackward计算，将执行结果反馈给主节点由主节点对各节点反馈的权值信息进行计算汇总后将更新后的参数分发至各节点，各从节点利用新参数进行下一轮迭代计算。

4.如权利要求3所述的一种基于MIC集群的深度学习框架Caffe算法，其特征在于，所述执行结果为权值参数。

5.如权利要求3所述的一种基于MIC集群的深度学习框架Caffe算法，其特征在于，由设置于节点内的主进程负责从数据库中读取数据并将数据分发给该节点内对应的n个从进程，各从进程接收数据后进行ForwardBackward计算；减少不同节点间通信开销；关于n的设置需要结合每个进程内开启的线程数。

6.如权利要求3所述的一种基于MIC集群的深度学习框架Caffe算法，其特征在于，对Caffe内核计算部分采用OpenMp多线程并行计算。