[发明专利]基于注意力的针对文本的联合信源信道方法

权利要求书

1.一种基于注意力的针对文本的联合信源信道方法，其特征在于，基于包括编码器、信道和解码器的生成器对文本进行联合信源信道编码，包括以下步骤：

步骤1，首先将经过预处理的文本输入编码器：使用固定长度的嵌入向量表示词汇表中的每个单词，得到嵌入向量以作为堆叠双向门控循环单元GRU网络编码器的输入；然后通过全连接层将编码器的输出转换为低维向量并二值化；

步骤2，通过信道传播步骤1的结果，得到观测向量；

步骤3，将观测向量通过全连接层输入至基于双向神经网络JSCC框架的解码器，解码器首先使用前后向的GRU和目标语句和来获得前向隐藏状态和后向隐藏状态，然后输入到作为最低子层的同步双向注意网络SBAtt，并采用双向束搜索实现同时基于过去与未来的信息进行解码，接下来通过堆叠的另外两个子层来寻找与译码文本有关的源文本，最后使用线性变换和softmax激活函数来计算下一个词的概率，从而进行分类预测，得到译码文本；

所述的步骤3中，目标语句是将掩码start作为起始符号，将end作为终止符号，目标语句是将掩码end作为起始符号，将start作为终止符号；同步双向注意网络为：

其中l表示层数，d表示解码器的自注意力，LayerNorm代表层归一化，SBAtt由h个注意头组成；s^l-1代表即前向隐藏状态和后向隐藏状态；

其中为：

SBDPA代表同步双向点乘注意力机制：

2.根据权利要求1所述的一种基于注意力的针对文本的联合信源信道方法，其特征在于，所述的生成器是通过以下步骤进行训练得到：

建立包括生成器、判别器和语句级别的字错误率WER所组成的SeqGAN模型来对生成器进行训练，在训练阶段，生成器的编码器与信道执行过程不变，但解码器为单向神经网络JSCC框架的解码器；且解码器使用GRU去初始化embedding状态，然后利用多头注意力MHAtt计算上下文注意力；对于计算当前时间步的译码状态，解码器根据上一个时间步的词向量、上下文向量及译码状态来计算；得到译码状态之后，通过Linear层和Softmax层，进行分类预测，并使用束搜索算法来确保概率最大的多个单词不被丢弃；

然后使用策略梯度训练方法将生成器得到的概率值通过判别器处理后，再回传给生成器，从而对生成器的参数进行更新，同时将判别器的评估和句子基本的WER同时作为奖励值，用来训练生成器。

3.根据权利要求2所述的一种基于注意力的针对文本的联合信源信道方法，其特征在于，所述的判别器为CNN，在进行判别时，首先将所有输入序列和生成序列扩展到固定长度，然后利用卷积运算和激活函数得到新的特征映射，利用输入语句和生成语句的特征表示，判定得到的生成语句是真实的概率值。

4.根据权利要求1所述的一种基于注意力的针对文本的联合信源信道方法，其特征在于，所述的步骤1中，所述的嵌入向量是采用Glove进行初始化；堆叠双向GRU是将两个单向的GRU进行叠加，以将第一个GRU的输出作为第二个GRU的输入，并将两个GRU的输出均发送至全连接层；所述的全连接层包括至少一层激活函数，且最后一层为激活函数tanh。

5.根据权利要求1所述的一种基于注意力的针对文本的联合信源信道方法，其特征在于，所述的步骤3中，前后向的GRU均包括两层GRU，每层的尺寸为256； 隐藏层维度为128。

6.根据权利要求1所述的一种基于注意力的针对文本的联合信源信道方法，其特征在于，采用双向束搜索实现同时基于过去与未来的信息进行解码，是使用广度优先策略来构建束搜索的搜索树，并在树的每一层，根据启发式成本对节点进行分类，然后仅留下预定数量即波束宽度的节点，留下的节点继续在下一级扩展，其他节点被切断，且一半的波束大小从前向解码，而另一半波束从后向解码，从而在每个时间步长分别从两半波束中选择最佳项，以继续同时扩展。