[发明专利]一种位置可学习的神经网络神经元选择性激活方法

摘要

本发明涉及一种位置可学习的神经网络神经元选择性激活方法，用于改进需要进行神经元选择性激活的神经网络结构，包括给定一个需要进行神经元选择性激活的神经网络操作；选定一个插值函数；构造位置法则的位置存储区域，唯一地确定学习得到的元素位置；初始化；前向传播在神经网络前向传播过程中，当需要进行神经元选择性激活时，通过位置存储区域计算需要参与运算的元素的位置，然后将这些位置的元素值送入后续步骤中进行计算；反向传播在神经网络前向传播过程中，待更新的参数包括位置存储区域中的有序数对，更新F中存储的位置偏移量；迭代训练到收敛。

主权项

一种位置可学习的神经网络神经元选择性激活方法，用于改进需要进行神经元选择性激活的神经网络结构，神经网络中神经元选择性激活是指：在计算过程中，需要将输入张量的一部分而非全部作为一次迭代的输入，通过数次迭代产生输出张量的过程，包括下列步骤：1)给定一个需要进行神经元选择性激活的神经网络操作，设其等效表达形式为y＝f(x)＝A·x其中，y为输出张量，A为该操作的等效算子；则该操作在位置p0处的输出值可表示为：y(p0)＝A(pn)·x(pn)其中点集pn是由该层运算定义的与位置p0的运算区域，记x上的全部可选点为则有注意其中点的索引是离散的；另记构造点集pn的对应法则为g(·)，即pn＝g(p0)2)选定一个插值函数G({pi})，其中pi表示运算区域中需要参与插值运算的点，有qn＝G(g(p0))其中表示连续化后的可选区域，即其中点的索引是连续的；3)构造位置法则g(·)的位置存储区域F：为存储学习得到的位置区域，引入集合F，其尺寸与一次迭代的qn一致，存储形式为有序数对，维度与输入张量x一致，有序数对存储的是各个维度学习得到的点相对于当前位置p0的移量，这样根据F中的每个有序数对，就可以唯一地确定学习得到的元素位置；4)初始化：将对应法则g(·)初始化为传统的近邻取值，即将上述位置存储区域F初始化为传统操作中的位置偏移规则；5)前向传播：在神经网络前向传播过程中，当需要进行神经元选择性激活时，通过位置存储区域F计算需要参与运算的元素的位置，然后将这些位置的元素值送入后续步骤中进行计算；6)反向传播：在神经网络前向传播过程中，待更新的参数包括位置存储区域F中的有序数对，计算插值函数G(·)对位置存储区域F中的位置坐标偏移量的梯度gradG(F)，反向传播时更新F中存储的位置偏移量；通过神经网络反向传播的迭代更新，达到学习神经元位置的目的；7)迭代训练到收敛，即完成模型训练，此时取得神经元选择性激活的最佳位置；8)测试阶段：使用上述训练过程得到了最佳神经元选择性激活的位置F，测试阶段使用这一位置存储区域F，进行上述步骤5的前向传播过程，即完成测试。