[发明专利]干扰信息去除方法、去干扰模型组件及垃圾文本识别系统

权利要求书

1.一种干扰信息的去除方法，包括：

获取包括多个词的待处理文本；

将所述待处理文本输入预先训练的去干扰模型组件，以便所述去干扰模型组件输出为所述待处理文本去除干扰信息后的目标文本，所述目标文本包括所述去干扰模型组件逐步输出的多个目标词；

其中，所述去干扰模型组件包括第一编码器、第一解码器、第二编码器和第二解码器，所述去干扰模型组件在每一步输出的目标词基于所述第二编码器为各个词生成的第二编码隐藏状态、第二解码器在当前步生成的第二解码隐藏状态和所述去干扰模型组件在上一步输出的目标词来确定，所述各个词的第二编码隐藏状态由第二编码器基于所述第一编码器为各个词生成的第一编码隐藏状态而生成，所述第二解码器在当前步生成的第二解码隐藏状态由第二解码器至少基于所述第一解码器在当前步的第一解码隐藏状态而生成。

2.根据权利要求1所述的干扰信息的去除方法，其中，所述去干扰模型组件还包括用于接收待处理文本的输入单元和用于输出目标词的输出单元；所述将所述待处理文本输入预先训练的去干扰模型组件，以便所述去干扰模型组件输出为所述待处理文本去除干扰信息后的目标文本的步骤包括：

将所述待处理文本输入所述输入单元，以便所述输入单元生成所述待处理文本所包含的各个词的词向量；

将各个词的词向量逐步输入第一编码器，以便第一编码器逐步为各个词生成第一编码隐藏状态；

将第一解码器在上一步生成的第一解码隐藏状态和输出单元在上一步输出的目标词输入第一解码器，以便第一解码器生成在当前步的第一解码隐藏状态；

将各个词的第一编码隐藏状态逐步输入第二编码器，以便第二编码器逐步为各个词生成第二编码隐藏状态；

将第二解码器在上一步生成的第二解码隐藏状态和第一解码器在当前步生成的第一解码隐藏状态输入第二解码器，以便第二解码器生成在当前步的第二解码隐藏状态。

3.根据权利要求2所述的干扰信息的去除方法，其中，所述将所述待处理文本输入预先训练的去干扰模型组件，以便所述去干扰模型组件输出为所述待处理文本去除干扰信息后的目标文本的步骤还包括：

基于注意力机制，根据各个词的第一编码隐藏状态和第一解码器在当前步的第一解码隐藏状态来计算各个词的注意力权重；

基于注意力权重，对各个词的第一编码隐藏状态进行加权求和，以得到上下文向量；

根据预设词汇表中的候选词、所述上下文向量和第一解码器在当前步的第一解码隐藏状态，计算候选词的概率分布；

根据各个词的第二编码隐藏状态、第二解码器在当前步的第二解码隐藏状态、第一解码器在当前步的第一解码隐藏状态和上下文向量，计算以候选词为目标词的生成概率；

根据各个词的注意力权重、候选词的概率分布、生成概率，计算待处理文本中各个词和预设词汇表中各个候选词的最终概率分布；

经由所述输出单元选择最终概率分布中概率最大的词作为当前步输出的目标词。

4.根据权利要求3所述的干扰信息的去除方法，其中，所述根据各个词的第二编码隐藏状态、第二解码器在当前步的第二解码隐藏状态、第一解码器在当前步的第一解码隐藏状态和上下文向量，计算以候选词为目标词的生成概率，包括：

通过公式：

计算以候选词为目标词的生成概率Pgen；

其中，W_ph、W_ps、W_x和b为预先学习的参数；h_pt为各个词的第二编码隐藏状态；h_ps为第二解码器在当前步的第二解码隐藏状态；为上下文向量；x_t为第一解码器在当前步的第一解码隐藏状态。

5.根据权利要求2所述的干扰信息的去除方法，其中，在当前步为第一解码器的初始步时，将第一编码器的最后一词的第一编码隐藏状态和一开始符号输入第一解码器，以便第一解码器生成在初始步的第一解码隐藏状态。

6.根据权利要求2所述的干扰信息的去除方法，其中，在当前步为第二解码器的初始步时，将第二编码器的最后一词的第二编码隐藏状态和初始步的第一解码隐藏状态输入第二解码器，以便第二解码器生成在初始步的第二解码隐藏状态。