[发明专利]基于生成式对抗网络的自然语言处理文本建模

权利要求书

1.一种在数据处理系统中的方法，所述数据处理系统包括至少一个处理器和至少一个存储器，所述至少一个存储器包括由所述至少一个处理器执行以配置处理器来实施用于自然语言处理的生成式对抗网络GAN的指令，所述方法包括：

配置所述GAN的生成器神经网络，以基于噪声向量输入来生成n元语法袋BoN输出；

配置所述GAN的鉴别器神经网络以接收BoN输入，其中所述BoN输入是来自所述生成器神经网络的BoN输出，或者是与自然语言文本的实际部分相关联的BoN输入；

配置所述GAN的鉴别器神经网络，以输出关于输入的BoN是来自自然语言文本的实际部分还是是所述生成器神经网络的BoN输出的概率的指示；以及

基于反馈机制训练所述生成器神经网络和鉴别器神经网络，所述反馈机制将来自所述鉴别器神经网络的输出指示与输入的BoN是来自自然语言文本的实际部分还是是所述生成器神经网络的BoN输出的指示进行比较。

2.根据权利要求1所述的方法，其中所述生成器神经网络产生所述BoN输出作为向量输出，并且其中所述BoN输出的向量输出中的每个向量槽被设置为指示相应的n元语法是否在所述BoN中的概率的值。

3.根据权利要求1所述的方法，其中所述鉴别器神经网络对所述生成器神经网络的BoN输出执行一个或多个统计值分析操作或特征提取分析操作，以对所述BoN输出评分，并生成关于所述BoN输出是否来自自然语言文本的实际部分的概率的指示。

4.根据权利要求3所述的方法，其中对所述BoN输出执行的一个或多个统计值分析操作或特征提取分析操作包括术语频率分析或逆文档频率分析中的至少一个。

5.根据权利要求1所述的方法，其中，在所述GAN的训练期间，所述生成器神经网络：

接收噪声向量输入；

投影并复制所述噪声向量输入以形成第一矩阵数据结构；

检索词汇表中每个n元语法的嵌入，所述词汇表包括可以在所述BoN中表示的n元语法全集；

基于检索到的嵌入生成第二矩阵，其中每个嵌入被表示为第二矩阵中的行；

串联第一矩阵和第二矩阵以生成串联矩阵；

将所述串联矩阵的每一行输入到神经网络中；并且

通过所述神经网络处理所述串联矩阵的每一行，以生成所述BoN输出。

6.根据权利要求5所述的方法，其中所述串联矩阵的每一行包括对应于第一矩阵的第一部分和对应于第二矩阵的第二部分。

7.根据权利要求5所述的方法，其中所述神经网络是多层感知器，所述多层感知器使用修正线性单元作为所述神经网络的输出层的激活函数，并且其中所述神经网络基于所述噪声向量输入输出指示相应n元语法存在于所述BoN中的概率的数值。

8.根据权利要求1所述的方法，其中，在所述GAN的训练期间，所述鉴别器神经网络：

接收所述BoN输入；

检索词汇表中每个n元语法的嵌入，所述词汇表包括可以在所述BoN中表示的n元语法全集；

基于检索到的嵌入生成第一矩阵，其中每个嵌入被表示为第一矩阵中的行；

将所述BoN输入与第一矩阵相乘；

投影所述BoN输入与第一矩阵相乘的结果以生成第二矩阵；

对第二矩阵执行求和池化以生成特征向量输出；并且

经由神经网络处理所述特征向量输出，以生成指示所述BoN输入是来自自然语言文本的实际部分还是是所述生成器神经网络的BoN输出的输出。

9.根据权利要求8所述的方法，其中，所述神经网络是多层感知器，所述多层感知器的输出层中具有sigmoid激活函数。

10.根据权利要求1所述的方法，进一步包括：

由经训练的GAN生成表示近似实际自然语言文本的n元语法袋的BoN输出；并且

基于由经训练的GAN生成的BoN输出，对自然语言文本的一部分执行自然语言处理。