[发明专利]神经网络中网络表示生成、编码方法和装置

权利要求书

1.一种神经网络中的网络表示生成方法，其特征在于，所述方法包括：

处理器获取输入序列中元素对应的空间表示，所述输入序列是神经网络生成网络表示的源输入；

通过所述元素对应空间表示的编码，生成所述元素的键值对向量序列以及映射至所述键值对向量序列中键向量序列的请求向量序列；

相对所述元素进行局部元素的键向量序列提取，获得以所述元素为中心的键向量序列集合；

所述处理器连接相应的运算部件计算所述请求向量序列和所述键向量序列集合的关联性，得到所述键向量序列集合对应值向量序列集合的权重系数；

通过所述权重系数以及所述键向量序列集合对应的值向量序列集合，生成所述神经网络对所述元素输出的网络表示。

2.根据权利要求1所述的方法，其特征在于，所述神经网络包括多层堆叠的网络层，所述元素的键值对向量序列以及映射至所述键值对向量序列中键向量序列的请求向量序列都将在多层堆叠的每一网络层编码生成。

3.根据权利要求1所述的方法，其特征在于，所述相对所述元素进行局部元素的键向量序列提取，获得以所述元素为中心的键向量序列集合，包括：

确定所述输入序列中元素所对应的局部元素，所述局部元素是所述输入序列中以所述元素为中心，对应于预设数量的其它元素；

为所述元素面向所述神经网络中多层堆叠的网络层进行所对应局部元素的键向量序列提取，相对所述元素在所述网络层获得每一局部元素的键向量序列；

将每一局部元素的键向量序列以及所述元素的键向量序列按序形成所述元素在所述网络层的键向量序列集合。

4.根据权利要求3所述的方法，其特征在于，所述为所述元素面向所述神经网络中多层堆叠的网络层进行所对应局部元素的键向量序列提取，相对所述元素在所述网络层获得每一局部元素的键向量序列，包括：

对所述输入序列中的元素，以网络层中局部元素对应的键向量序列为一维元素轴，提取所述网络层中局部元素的键向量序列，提取的所述键向量序列用于形成所述元素在所述网络层的键向量序列集合。

5.根据权利要求3的方法，其特征在于，所述输入序列中的元素在每一网络层都编码生成键值对向量序列以及请求向量序列，所述为所述元素面向所述神经网络中多层堆叠的网络层进行所对应局部元素的键向量序列提取，相对所述元素在所述网络层获得每一局部元素的键向量序列，包括：

针对输入序列中元素在一网络层编码生成的请求向量序列，以所述网络层为中心确定所述神经网络中其它网络层为所述元素的周边网络层，所述周边网络层与所述局部元素用于确定所述元素相对所述网络层的二维区域；

在所述二维区域，分别对作为中心的网络层以及所述元素的各周边网络层提取所对应局部元素的键向量序列，提取的所述键向量序列用于与所述元素在所述二维区域的键向量序列形成所述元素在所述网络层的键向量序列集合。

6.根据权利要求1所述的方法，其特征在于，所述计算所述请求向量序列和所述键向量序列集合的关联性，得到所述键向量序列集合对应值向量序列的权重系数，包括：

对所述元素在所述网络层编码生成的请求向量序列和提取的键向量序列集合计算所述请求向量序列和所述键向量序列集合二者之间的关联性，所述关联性通过所述请求向量序列和键向量序列集合之间的相关度或者相似度表征；

非线性变换计算的所述关联性，获得所述网络层中所述键向量序列集合对应值向量序列集合中值向量序列的权重系数。

7.根据权利要求1所述的方法，其特征在于，所述通过所述权重系数以及所述键向量序列集合对应的值向量序列集合，生成所述神经网络对所述元素输出的网络表示，包括：

在所述神经网络中多层堆叠的网络层，为输入序列中的元素提取对应于键向量序列集合的值向量序列集合；

对所述权重系数和所述值向量序列集合中值向量序列进行二者之间的加权求和，获得所述元素在所述网络层的输出表示；

拼接所述元素在各网络层的输出表示，生成所述神经网络对所述元素输出的网络表示。