[发明专利]基于申威处理器的深度学习算子自动优化系统及方法

说明书

本发明提供的基于申威处理器的深度学习算子自动优化系统，包括获取单元，获取专用的描述语言定义计算任务和优化空间的描述；调度单元，根据优化空间的描述构建优化空间，依据优化空间中不同优化方法对计算任务描述调度生成若干不同的计算实现，输出用中间表示表达的计算实现；优化单元，接收中间表示，对中间表示执行优化，输出优化后的中间表示；优化空间搜索单元，从优化后的中间表示中搜索出最优的计算实现；代码生成单元，将最优的计算实现翻译为在申威处理器上可以执行的代码。本发明能够解决现有技术中优化性能低、难以移植、优化时间开销大的问题，高效于手动优化技术和自动优化技术，并且可以能够方便地移植到其他机构上使用。

技术领域

本发明涉及算法的优化系统及方法，尤其涉及一种基于申威处理器的深度学习算子自动优化系统及方法。

背景技术

人工智能已经渗入到工作生活的方方面面，深度学习技术在图像识别、语言处理、目标检测各个方面都取得了显著的突破，神威超算平台也搭建了分布式深度学习开发环境。随着深度学习模型层次加深、参数增多，其对计算资源的需求逐渐增大，需要对模型的计算算子进行深度的定制化优化。

深度学习模型，尤其是卷积神经网络模型，主要的计算资源消耗在于计算密集型算子，包含卷积和全连接算子等。一方面，算子有多种计算方法，比如卷积算子就有基于im2col的卷积、隐式卷积、Winograd卷积等多种计算方法。另一方面，模型的输入是多维张量，因而算子的输入参数较多、参数变化范围大。针对具体算子的具体参数输入，不同的计算方法其实际性能不同，相同计算方法的不同优化方式性能差距也较大。这导致需要对每一种计算密集型算子的不同计算方法、不同参数输入编写多种具体实现代码，工程任务十分艰巨，所以需要使用自动优化技术。

现有的自动优化技术着重于可移植性和自动化，通过高度的抽象常用的优化技术和不同平台编码方式，利用开源的编译工具，可以优化产生适配于多种硬件平台的性能较高的代码。但是过高的抽象和通用性考虑使得其优化效果相较于手动优化方法还有一定的差距。尤其是对于SW26010这一类有着特殊硬件架构的芯片，现有的自动优化技术效率较低，不能充分发挥该类芯片的硬件特性，其原因主要是以下三点：1.现有的自动优化技术直接对加减乘除级别的计算进行调度抽象，重点考虑硬件的多级缓存架构、多核无通信并行计算以及向量化等优化方式，对于SW26010芯片的无缓存设计、高速寄存器通信特性、指令流水线等特性难以利用，而这些特性对计算性能影响显著，因此无法充分发挥硬件特性。2.现有的自动优化技术多借助于开源的编译优化工具和代码生成工具，面向具体硬件进行指令级别优化并生成可执行代码，而对于SW26010芯片，开源工具尚未支持，而且编译工具优化技术也有限，现有工具移植工作量大，移植的自动优化工具的计算资源利用率也较低。3.优化空间搜索是自动优化技术的关键点之一，现有的自动优化技术，采用基于多面体模型的整数优化搜索方法难以结合融合硬件特性，优化结果较差，采用基于机器学习模型的优化搜索方法忽略硬件先验知识，搜索时间长，时间开销大。

综上所述，现有的自动优化技术存在以下主要缺点：优化结果性能较低，难以移植，优化时间开销大。

发明内容

为解决上述技术问题，本发明提供的基于申威处理器的深度学习算子自动优化系统及方法，能够解决现有技术中优化性能低、难以移植、优化时间开销大的问题，既高效于手动优化技术，又高效于自动优化技术，并且可以通过更改汇编元语，移植到其他机构上使用。

为达到上述目的，本发明提供的技术方案为：

本发明提供的一种基于申威处理器的深度学习算子自动优化系统，包括：

获取单元，获取专用的描述语言定义计算任务和优化空间的描述；

调度单元，根据优化空间的描述构建优化空间，依据优化空间中不同优化方法对计算任务描述调度生成若干不同的计算实现，输出用中间表示表达的计算实现；

优化单元，接收中间表示，对中间表示执行优化，输出优化后的中间表示；