[发明专利]神经网络中网络表示生成、编码方法和装置

说明书

本发明揭示了一种神经网络中网络表示生成、编码方法和装置、编码器、机器设备。所述方法包括：获取输入序列中元素对应的空间表示；通过对空间表示的编码，生成键值对向量序列以及映射至键值对向量序列中键向量序列的请求向量序列；相对元素进行局部元素的键向量序列提取，获得以元素为中心的键向量序列集合；通过计算请求向量序列和键向量序列集合的关联性，得到键向量序列集合对应值向量序列集合的权重系数；通过权重系数以及键向量序列集合对应的值向量序列集合，生成对元素输出的网络表示，由于权重系数不再是分散的权重分布，其是基于该元素请求向量序列的关联性得到的，因此局部信息得到强化，神经网络的局部上下文捕获能力得到相应提升。

技术领域

本发明涉及计算机应用技术领域，特别涉及一种神经网络中网络表示生成、编码方法和装置、编码器、机器设备。

背景技术

随着神经网络在各领域的应用和发展，神经网络越来越多的引入注意力机制作为其中的一个基本模块，以此来动态的按需选择输入序列在神经网络中的相关表示，进而相对循环神经网络(Recurrent Neural Network，简称RNN)获得更为优秀的输出质量。

神经网络中，每个上层网络表示都会与下层所有网络表示建立直接连接，即每层的输出作为下一层的输入，多次重复，直至编码完成网络表示。

通过神经网络中引入的注意力机制，将完整地考虑每层中的全部网络表示，并对每一网络表示都进行加权求和操作，这将会在一定程度上分散所获得注意力权重的分布，对于输入序列中的元素而言，也将弱化了其相邻元素的信息，换而言之，在神经网络为元素编码生成的网络表示存在着局部信息被弱化的局限性。

如何对神经网络中网络表示生成的实现强化局部信息，提升神经网络捕获局部上下文的能力成为当前亟待解决的技术问题。

发明内容

为了对相关技术中神经网络的网络表示生成实现强化局部信息，提升神经网络捕获局部上下文的能力，本发明提供一种神经网络中网络表示生成、编码方法和装置、编码器、机器设备

一种神经网络中的网络表示生成方法，所述方法包括：

获取输入序列中元素对应的空间表示，所述输入序列是神经网络生成网络表示的源输入；

通过所述元素对应空间表示的编码，生成所述元素的键值对向量序列以及映射至所述键值对向量序列中键向量序列的请求向量序列；

相对所述元素进行局部元素的键向量序列提取，获得以所述元素为中心的键向量序列集合；

通过计算所述请求向量序列和所述键向量序列集合的关联性，得到所述键向量序列集合对应值向量序列集合的权重系数；

通过所述权重系数以及所述键向量序列集合对应的值向量序列集合，生成所述神经网络对所述元素输出的网络表示。

一种实现神经网络编码的方法，所述方法包括：

处理器获取输入序列中元素对应的空间表示，所述输入序列是神经网络生成网络表示的源输入；

通过所述元素对应空间表示在神经网络中相互堆叠的网络层编码，生成所述元素在所述网络层的键值对向量序列以及映射至所述键值对向量序列中键向量序列的请求向量序列；

相对所述元素进行所述网络层中局部元素的键向量序列提取，获得所述网络层中以所述元素为中心的键向量序列集合；

所述处理器连接相应的运算部件计算所述元素在所述网络层中编码生成的请求向量序列和所述键向量序列集合的关联性，得到所述网络层中键向量序列集合对应值向量序列集合的权重系数；

通过所述权重系数以及所述键向量序列集合对应的值向量序列集合，由各网络层生成所述神经网络对所述元素编码输出的网络表示。