[发明专利]一种混合架构的深度学习方法及装置

权利要求书

1.一种混合架构的深度学习方法，深度学习方法基于深度学习系统实现深度学习训练和推理，其特征在于：深度学习系统为将训练和推理混合的CPU+GPU+CAPI异构深度学习系统，包括如下步骤：

S1，训练数据集有更新变化，训练模块重新进行深度学习网络模型训练，结束后，网络模型的权值和偏置参数存储至预先设定的文件；

S2，服务器端监测进程监测到参数文件变化，将权值和偏置参数存储空间的虚拟地址、长度信息封装到预先设定的数据结构中，并通知推理模块；

S3，推理模块中断推理服务，通过总线接口从服务器侧读取权值和偏置文件内容，并更新网络模型；

S4，服务器端监测进程同时处理需要推理的输入文件，并通知推理模块，推理模块完成后将结果返回到服务端监测进程；

CPU+GPU+CAPI异构深度学习系统，包括：

POWER8处理器、DDR内存、网络组成的服务器；与所述服务器通过总线连接的GPU加速训练模块GTX1080；与所述服务器通过总线连接的CAPI推理模块ADM-PCIE-KU3加速卡；所述的GPU加速训练模块GTX1080用于加速深度学习模型的训练过程；所述的推理模块预先装载AlexNet网络模型，用于深度学习的推理过程；所述的服务器用于深度学习的控制、数据处理、网络交互、参数存储；所述服务器与训练模块的总线接口为PCI-E或者Nvlink总线；所述服务器与推理模块的硬件接口为PCI-E或BlueLink，总线协议为CAPI；混合架构的深度学习方法，实现步骤如下：

SS1，使用SNAP Framework工具实现Alexnet 8层网络模型，并刷写至CAPI推理模块中；

SS2，基于Tensorflow深度框架，获取到图片数据，作为训练数据集提供给两块GTX1080GPU做分布式训练；

SS3，监测进程得到最新的训练结果pb文件，解析其中的权值和偏置参数至文件A，并获取参数存储的虚拟地址和长度信息；

SS4，监测程序调用CAPI内核库函数接口及驱动，向ADM-PCIE-KU3 CAPI模块发送封装了参数信息的数据结构；

SS5，CAPI卡从结构中解析参数地址，从而获取参数信息并对应更新储存的网络模型权值和偏置的参数变量；

SS6，CAPI卡接收监测程序发送的图片推理请求，并将网络输出的Top5结果返回，可对外提供相应类别的图片识别服务；

SS7，在CAPI卡提供服务的同时，训练网络也可以不断进行新增分类的训练，并将训练完成的参数同步更新到CAPI卡中。

2.根据权利要求1所述的方法，其特征在于：所述的步骤S1具体包括以下子步骤：

S11，训练数据集有更新变化时，不改变网络模型，需要重新训练，从而得到更新后的网络权值和偏置参数；

S12，训练完成后，需要将网络各层的权值和偏置参数以与推理模块约定好的格式存储到预先设定的文件。

3.根据权利要求1所述的方法，其特征在于：所述的步骤S2具体包括以下子步骤：

S21，服务端运行监测进程，通过调用推理模块在服务器内核库函数接口及驱动，控制推理模块的运行、停止及参数更新；

S22，服务端监测进程时刻监测是否有权值偏置参数需更新，并获取最新参数信息；

S23，当有更新发生，需要向推理模块发送停止命令及更新的参数文件信息。

4.根据权利要求1所述的方法，其特征在于：所述的步骤S3具体包括以下子步骤：

S31，推理模块直接通过虚拟地址从服务端读取相应的权值、偏置信息至内部RAM；

S32，推理模块读取完成后通知监测进程，监测进程向其发送运行命令；

S33，推理模块更新网络模型参数，继续进行推理服务。

5.根据权利要求1所述的方法，其特征在于：所述的网络模型采用一种针对图片分类的深度学习模型。