[发明专利]基于注意力的针对文本的联合信源信道方法

说明书

本发明公开了一种基于注意力的针对文本的联合信源信道方法，采用基于包括编码器、信道和解码器的生成器对文本进行联合信源信道编码，采用GRU来代替LSTM，计算速度更快。同时加入注意力机制，提高译码的效率和准确性。利用GAN框架，使生成模型的参数更新不是直接来自原数据样本，而是来自判别模型的反向传播。本发明中将基于GRU的单向文本译码框架作为生成模型，利用CNN作为判别模型，对生成器生成的样本进行判别。束搜索中加入点互信息，和最大似然概率一起，更准确的译码单词。在译码端，本发明采用同步双向译码的方法。同时L2R和R2L译码，利用SBAtt以及双向束搜索，实现对齐及信息的交互，即同时利用过去和未来的信息，从而降低解码的单词错误率。

技术领域

本发明涉及无线通信领域，特别涉及一种基于注意力的针对文本的联合信源信道方法。

背景技术

随着计算机技术，现代通信技术和网络信息处理技术的发展，文本已经成为用户获取和传播信息的主要载体。文本数据的编码和传输也面临着巨大的挑战。一方面，在许多应用场合，都会有需要对海量的文本数据信息进行传输的问题。为了能在带宽受限的信道中传输大量信息，在传输前必须进行高效率的压缩编码。另一方面，由于无线信道的日益复杂，如何有效应对信道对文本传输的影响，也是一个亟待解决的问题。

香农分离定理指出，码长足够长时，分开信源信道编码理论上是最优的。因此传统的通信系统设计中，信源编码和信道编码通常是分开设计的。信源编码对信源进行高效的压缩以充分利用有限的信道带宽，信道编码添加冗余，提高数据传输效率，降低误码率。但是，分离定理没有考虑实际应用中的复杂性和延迟要求，忽视了实际通信系统的不完美性，将信源和信道编码分别设计优化有时并不能达到整体的最佳效果。随着现代通信技术的迅速发展，网络环境越来越复杂，分离原理的局限性就愈加明显。

因此，为了更有效，可靠的传输大量文本信息，同时应对复杂的无线信道。需要将信源编码和信道编码总体考虑，联合优化。近些年来，关于联合信源信道编码(JointSource-Channel coding，JSCC)的研究也越来越多，而深度学习作为当下研究的热点，在计算机视觉、语音识别、自然语言处理等场景下相比于比传统方法，取得了显著的性能提升。而机器翻译领域的编码-译码(encoder-decoder)模型和联合信源信道编码方法有相似之处。故基于encoder-decoder模型来实现联合信源信道是具有实际意义的。

发明内容

为了解决目前信源编码和信道编码分开设计而无法适应现有复杂网络环境的技术问题，本发明提供一种基于注意力的针对文本的联合信源信道方法。

为了实现上述技术目的，本发明的技术方案是，

一种基于注意力的针对文本的联合信源信道方法，基于包括编码器、信道和解码器的生成器对文本进行联合信源信道编码，包括以下步骤：

步骤1，首先将经过预处理的文本输入编码器：使用固定长度的嵌入向量表示词汇表中的每个单词，得到嵌入向量以作为堆叠双向门控循环单元GRU网络编码器的输入；然后通过全连接层将编码器的输出转换为低维向量并二值化；

步骤2，通过信道传播步骤1的结果，得到观测向量；

步骤3，将观测向量通过全连接层输入至基于双向神经网络JSCC框架的解码器，解码器首先使用前后向的GRU和目标语句和来获得前向隐藏状态和后向隐藏状态，然后输入到作为最低子层的同步双向注意网络SBAtt，并采用双向束搜索实现同时基于过去与未来的信息进行解码，接下来通过堆叠的另外两个子层来寻找与译码文本有关的源文本，最后使用线性变换和softmax激活函数来计算下一个词的概率，从而进行分类预测，得到译码文本。

所述的一种基于注意力的针对文本的联合信源信道方法，所述的生成器是通过以下步骤进行训练得到：