[发明专利]用于卷积神经网络的超像素方法

说明书

本申请涉及用于卷积神经网络的超像素方法。该方法包括将X乘Y乘Z输入张量变换为X’乘Y’乘Z’输入张量，其中，X’小于或等于X，Y’小于或等于Y，并且Z’大于或等于Z；获得一个或多个经修改的权重矩阵，其中，经修改的权重矩阵对所述X’乘Y’乘Z’输入张量进行运算以生成U’乘V’乘W’输出张量，并且所述U’乘V’乘W’输出张量包括经变换的U乘V乘W输出张量，其中U’小于或等于U，V’小于或等于V，并且W’大于或等于W；以及使用经修改的权重矩阵处理所述X’乘Y’乘Z’输入张量以生成所述U’乘V’乘W’输出张量，其中，所述U’乘V’乘W’输出张量包括所述U乘V乘W输出张量。

分案说明

本申请属于申请日为2017年7月13日的中国发明专利申请201710570292.6的分案申请。

技术领域

本说明书涉及通过神经网络的层处理输入来生成输出。

背景技术

神经网络是一种对于所接收的输入采用一层或多层的非线性单元来预测输出的机器学习模型。一些神经网络除输出层之外还包括一个或多个隐藏层。每个隐藏层的输出被用作该网络中的另一层—例如下一隐藏层或输出层-的输入。该网络的每一层依据相应的参数集的当前值来根据所接收的输入生成输出。

发明内容

大体上，本说明书中描述的主题的一个创新方面能够体现在用于更有效率地执行卷积神经网络层的计算的方法中，所述卷积神经网络层被配置来接收X乘Y乘Z输入张量并且使用一个或多个卷积神经网络层权重矩阵处理所接收的输入张量来生成U乘V乘W输出张量。在一些方面中，所述方法包括：将所述X乘Y乘Z输入张量变换为X’乘Y’乘Z’输入张量，其中，X’小于或等于X，Y’小于或等于Y，并且Z’大于或等于Z；获得一个或多个经修改的卷积神经网络层权重矩阵，其中(i)经修改的权重矩阵对所述X’乘Y’乘Z’输入张量进行运算以生成U’乘V’乘W’输出张量，并且(ii)所述U’乘V’乘W’输出张量包括经变换的U乘V乘W输出张量，其中，U’小于或等于U，V’小于或等于V，并且W’大于或等于W；以及使用经修改的权重矩阵处理所述X’乘Y’乘Z’输入张量以生成所述U’乘V’乘W’输出张量，其中，所述U’乘V’乘W’输出张量包括所述U乘V乘W输出张量。

此方面的其他实施例包括对应的计算机系统、装置、和记录在一个或多个计算机存储设备上的计算机程序，其均配置来执行所述方法的动作。一个或多个计算机的系统能够被配置成依靠安装在系统上的软件、固件、硬件、或者以上的任何组合来执行特定操作或动作，所述软件、固件、硬件、或者以上的任何组合在操作时可以使得所述系统执行所述动作。一个或多个计算机程序能够被配置成依靠包括指令来执行特定操作或动作，所述指令在由数据处理装置执行时使得所述装置执行所述动作。

前述实施例和其他实施例均能够可选地独自或以组合方式包括以下特征中的一个或多个。

在一些实施方式中，X’等于X除以自然数N的向上舍入，Y’等于Y除以自然数M的向上舍入，并且Z’等于Z乘以NM。

在一些实施方式中，所述X乘Y乘Z输入张量表示XY个第一输入并且所述X’乘Y’乘Z’输入张量表示X’Y’个超级输入，其中每个超级输入包括多个第一输入。

在一些实施方式中，所述多个第一输入的数目等于NM个输入。

在一些情况下，经修改的权重矩阵对所述X’乘Y’乘Z’输入张量的运算等同于所述卷积神经网络层权重矩阵对所述X乘Y乘Z输入张量的运算。

在一些实施方式中，经修改的权重矩阵的元(entry)包括一个或多个卷积神经网络层权重矩阵。

在一些情况下，经修改权的重矩阵包括具有带状结构的矩阵。

在一些实施方式中，U’等于U除以自然数P的向上舍入，V’等于V除以自然数Q的向上舍入，并且W’等于W乘以PQ。