[发明专利]优化神经网络模型的处理装置及方法

说明书

本发明揭露一种优化神经网络模型的方法及装置，先判断中间算子群是否对数据格式顺序敏感；如否，合并始转置算子与终转置算子，以形成合并转置算子。当基于神经网络模型进行推理时，执行合并转置算子以取代执行始转置算子与终转置算子，从而减少神经网络中转置算子的数量，提升网络的运行时间和减少硬件资源的消耗。

技术领域

本发明一般地涉及神经网络领域。更具体地，本发明涉及优化神经网络模型的处理装置及方法。

背景技术

转置(transpose)运算是数学和工程领域的常用运算之一，用于对多维数组进行转置操作。对于多维数组转置的计算机硬件实现，通常将一部分数据搬运到缓存上，通过在缓存上执行一次或多次读取和写入操作来实现多维数组的转置运算。

转置算子被广泛的应用于神经网络中，特别是应用在数据格式的调整上，由于神经网络模型中的部分算子对数据格式顺序的要求不同，以至于模型中存在大量的转置算子，将数据转换成各种的数据格式，这些转置算子如果不被优化，往往会增加网络的运行负担。现有的优化策略只支持特定数据摆放，例如NHWC与NCHW间的转置优化，而这类优化还是会留下转置残留，依旧影响网络的性能。而针对于非特定数据格式的转置更是一直缺乏有效的优化方式。

因此，一种针对任何转置算子的优化是迫切需要的。

发明内容

为了至少部分地解决背景技术中提到的技术问题，本发明的方案提供了一种优化神经网络模型的处理装置及方法。

在一个方面中，本发明揭露一种优化神经网络模型的方法，所述神经网络模型包括始转置算子、中间算子群及终转置算子，中间算子群介于始转置算子与终转置算子间。所述方法包括：判断中间算子群是否对数据格式顺序敏感；如否，合并始转置算子与终转置算子，以形成合并转置算子；以及当基于神经网络模型进行推理时，执行合并转置算子以取代执行始转置算子与终转置算子。

在另一个方面，本发明揭露一种优化神经网络模型的处理装置，所述神经网络模型包括始转置算子、中间算子群及终转置算子，中间算子群介于始转置算子与终转置算子间。所述处理装置包括判断模块及置换模块。判断模块用以判断中间算子群是否对数据格式顺序敏感；当中间算子群对数据格式顺序不敏感时，置换模块用以合并始转置算子与终转置算子，以形成合并转置算子。当基于神经网络模型进行推理时，以合并转置算子取代始转置算子与终转置算子。

本发明提出一种基于转置条件可穿越中间算子的优化方案，以实现对非特定数据摆放的转置进行优化，从而减少神经网络中转置算子的数量，提升网络的运行时间和减少硬件资源的消耗。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，并且相同或对应的标号表示相同或对应的部分其中：

图1A是示出示例性的三维数组；

图1B是示出转换后的三维数组；

图2是示出本发明实施例的神经网络模型的片段；

图3是示出本发明实施例的处理装置的示意图；

图4是示出本发明实施例的始转置算子与中间算子互换位置的示意图；

图5是示出本发明实施例的始转置算子与中间算子互换位置的示意图；

图6是示出本发明实施例的始转置算子与中间算子互换位置的示意图；

图7是示出本发明实施例简化转置算子的示意图；

图8是示出本发明实施例转换始转置算子的输出数据格式顺序的示意图；

图9是示出另一个神经网络模型的片段的示意图；