[发明专利]一种软硬件协同加速神经网络算法的方法及系统

说明书

本发明公开一种软硬件协同加速神经网络算法的方法及系统，利用神经网络算法的计算需求特性及并行可拆解特性，将神经网络算法任务划分软硬件计算执行，分别将计算任务部分拆解为专用计算任务和通用计算任务，专用计算任务分解为专用子计算任务，并划分专用子计算任务组合，利用软件进行处理加速，采集各专用子计算组合的计算与存储资源及其他参量，并对通用计算任务对照专用子计算任务组合进行划分通用子计算任务组合，利用硬件进行处理加速，同样采集各通用子计算组合的计算与存储资源及其他参量，结合专用子计算组合的计算与存储资源及其他参量，进一步优化专用子运算任务组合和通用子运算任务组合的划分，部署软硬件，完成神经网络推理加速。

技术领域

本发明公开一种加速方法及系统，涉及人工智能算法加速领域，具体地说是一种软硬件协同加速神经网络算法的方法及系统。

背景技术

神经网络是一组大致模仿人类大脑构造设计的算法，用于识别模式。神经网络通过机器感知系统解释传感器数据，对原始输入进行标记或聚类。

目前，深度神经网络已被广泛应用于众多领域，在图像处理领域，基于卷积神经网络的模型训练效果明显优于其他传统方法，然而随着神经网络模型复杂度和任务量的不断提高，有限的存储空间和计算能力成为进一步训练大规模任务的瓶颈。目前通常使用神经网络的加速器提高神经网络的计算速度，但在通用动设备上，由于硬件限制，针对不同的神经网络常常需要开发不同的加速器提高计算速度，不仅增加了额外的成本，有时因硬件限制原因，可能无法实现神经网络提速。

发明内容

本发明针对现有技术的问题，提供一种软硬件协同加速神经网络算法的方法及系统，可在现有设备基础上，根据神经网络算法的计算需求特性及并行可拆解特性，将神经网络算法划分拆解，对不同拆解方法进行耗时及资源的比较分析，得到最优拆解方法，实现高效低耗完成软硬件协同加速神经网络，并可应用在软硬件部署等方面。

本发明提出的具体方案是：

一种软硬件协同加速神经网络算法的方法：将神经网络算法任务拆解成通用计算任务和专用计算任务，

将专用计算任务并行分解成专用子运算任务，根据专用子运算任务处理数据的数量及计算复杂度，将专用子运算任务划分成不同的专用子运算任务组合，

分别对专用子运算任务组合进行软件处理加速，收集各专用子运算任务组合执行任务时使用的计算与存储资源及相应的其他参量，

根据专用子运算任务组合，将通用计算任务分解为通用子运算任务，并对应专用子运算任务组合利用硬件对通用子运算任务进行处理加速，收集通用子运算任务执行任务时使用的计算与存储资源及相应的其他参量，结合专用子运算任务组合的计算与存储资源及其他参量，进一步优化专用子运算任务组合及其对应的通用子运算任务的划分，完成神经网络算法的加速。

所述的一种软硬件协同加速神经网络算法的方法中分解专用子运算任务过程：

将专用计算任务根据算法特性，进行计算任务并行分解，分解成可同时进行且数据不互相依赖的专用子计算任务。

所述的一种软硬件协同加速神经网络算法的方法中对专用子运算任务组合利用处理器进行软件处理加速。

所述的一种软硬件协同加速神经网络算法的方法中划分通用子运算任务前，处理器针对专用子运算任务组合执行任务时使用的计算与存储资源及其他参量进行分析比较，调整专用子运算任务组合中专用子运算任务数量及计算复杂度，获得优化的专用子运算任务组合。

所述的一种软硬件协同加速神经网络算法的方法中具体过程为：

分别给专用子运算任务组合分配计算与存储资源，累加各专用子运算任务组合执行任务时使用的计算与存储资源，同时获取相应的其他参量，