[发明专利]基于强化学习的文本去噪方法及装置

说明书

本申请公开了一种基于强化学习的文本去噪方法及装置。该方法包括通过文本特征训练第一预设网络模型；输入待处理文本至所述第一预设网络模型，并判断所述待处理文本中的噪声词语；以及将去噪结果输入第二预设分类模型，得到文本分类结果。本申请解决了文本处理结果不准确的技术问题。通过本申请基于强化学习去掉任务中的噪声的词语，去噪后的词语使用常规的分类模型训练，提高分类的准确率。

技术领域

本申请涉及文本处理、强化学习领域，具体而言，涉及基于强化学习的文本去噪方法及装置。

背景技术

在对文本进行意图识别时，自然语言会包含很多和意图无关的文本内容，即文本噪声。

发明人发现，如果对于不同的意图，采用相同的停用词表，容易造成文本处理的结果不准确。进一步，影响到意图的预测。

针对相关技术中文本处理结果不准确的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种基于强化学习的文本去噪方法及装置，以解决文本处理结果不准确的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种基于强化学习的文本去噪方法。

根据本申请的基于强化学习的文本去噪方法包括：通过文本特征训练第一预设网络模型；输入待处理文本至所述第一预设网络模型，并判断所述待处理文本中的噪声词语；以及将去噪结果输入第二预设分类模型，得到文本分类结果。

进一步地，通过文本特征训练第一预设网络模型包括：将待分类的请求输入预设神经网络模型中，提取出所述文本中的词向量特征；将所述词向量特征作为基于强化学习的策略网络模型的输入，并输出对所述向量特征的执行动作。

进一步地，输出对所述向量特征的执行动作之后，还包括：将满足预设执行动作结果的词保留，并重新加入到所述基于强化学习的策略网络模型中，得到去噪后的所述待分类的请求特征；将所述去噪后的所述待分类的请求特征作为预设分类模型的输入，输出分类结果。

进一步地，将去噪结果输入第二预设分类模型，得到文本分类结果之后，还包括：判断对文本分类结果是否正确；如果判断对文本分类结果正确，则在基于强化学习的第一预设网络模型的反馈累计增加；如果判断对文本分类结果不正确，则在基于强化学习的第一预设网络模型的反馈累计减少。

进一步地，通过文本特征训练第一预设网络模型包括：将作为训练集的待分类文本输入强化学习特征提取网络，得到文本特征；通过将所述文本特征作为策略网络的输入，以使所述策略网络获取得到待分类文本中的全集信息；通过文本特征训练得到所述策略网络。

为了实现上述目的，根据本申请的另一方面，提供了一种基于强化学习的文本去噪装置。

根据本申请的基于强化学习的文本去噪装置包括：训练模块，用于通过文本特征训练基于强化学习的预设网络模型；去噪模块，用于输入待处理文本至预设网络模型，并判断所述待处理文本中的噪声词语；分类模块，用于将去噪结果输入预设分类模型，得到文本分类结果。

进一步地，所述训练模块包括：特征提取单元，用于将待分类的请求输入预设神经网络模型中，提取出所述文本中的词向量特征；动作输出单元，用于将所述词向量特征作为基于强化学习的策略网络模型的输入，并输出对所述向量特征的执行动作。

进一步地，装置还包括：处理模块，所述处理模块，用于将满足预设执行动作结果的词保留，并重新加入到所述基于强化学习的策略网络模型中，得到去噪后的所述待分类的请求特征；将所述去噪后的所述待分类的请求特征作为预设分类模型的输入，输出分类结果。