[发明专利]基于主题挖掘的水利领域文本的检索方法与系统

权利要求书

1.一种基于主题挖掘的水利领域文本的检索方法，其特征在于，包括以下步骤：

(1)整理实验数据集，对数据集进行脱敏信息处理以及文本数据预处理；

(2)构建基于主题挖掘的双向对抗神经网络和双向GRU联合的主题注意力模型GAN-BiGRU Topic Attention Model，使用步骤(1)中训练集进行训练；

(3)对步骤(2)训练的双向对抗神经网络和双向GRU联合的主题注意力模型进行主题多样性与主题连贯性测试，同时对其下游任务的准确率、召回率进行测试，完成模型评估；

(4)搭建基于主题挖掘的水利领域文本的检索系统，嵌入经过验证测试的双向对抗神经网络和双向GRU联合的主题注意力模型，完成相关领域文本检索。

2.根据权利要求1所述的一种基于主题挖掘的水利领域文本的检索方法，其特征在于，步骤(1)所述的实验数据集主要包括公共数据集THUCnews、20newsgroups以及构建的水利公文数据集。

3.根据权利要求1所述的一种基于主题挖掘的水利领域文本的检索方法，其特征在于，所述步骤(1)具体为：

(1.1)去除停用词：首先构建水利领域停用词集合，将现有停用词表加入到该水利领域停用词集合中，使用Jieba分词工具对输入文本数据进行分词，分词的过程中查询构造的停用词集合，如当前词在停用词集合中出现，则将其过滤，完成停用词去除；

(1.2)去除标点符号：首先构造标点符号集合，将现有的标点符号表加入到集合中，使用Jieba分词工具对输入文本数据进行分词，分词的过程中查询构造的标点符号集合，如当前词在标点符号集合中出现，则将其过滤，完成标点符号清洗；

(1.3)拼写纠错：采用最小编辑距离完成拼写纠错，最小编辑距离指将一个错误拼写的单词纠正正确的最小编辑次数，此处编辑包含插入、删除、修改三种操作，且每一次编辑只能改变一个字母；纠错的流程包括：识别错误拼写单词，如果一个词不在已有的词汇表中，则将其视为错误单词，对其计算最小编辑距离并构建候选编辑列表，此处编辑操作包含插入、删除、交换、替换四种操作，通过四种操作，得到全部可能的组合情况构成编辑列表；对编辑列表进行枚举填空后，只保留存于词汇表中的正确单词，使用词概率计算正确单词的概率，选择词概率最高的词作为拼写纠错的结果。

4.根据权利要求1所述的一种基于主题挖掘的水利领域文本的检索方法，其特征在于，步骤(2)所述的基于主体挖掘的双向对抗神经网络和双向GRU联合的主题注意力模型GAN-BiGRU Topic Attention Model主要包括以下内容：

(2.1)双向对抗神经网络模块：本模块主要有两点功能，第一，用于计算输入文本的主题分布，待双向GRU模块输出文本分类的结果后，通过主题分布检索待检索的分类文本；第二，将主题词向量作为双向GRU模块Attention计算中的Value，与文本向量计算Attention注意力权重，公式如下：

其中，Attention注意力权重的计算公式为公式1，k为注意力机制中初始的线性映射矩阵，Q为注意力机制中初始线性映射矩阵，dim为输入文本词嵌入的维度，V为注意力机制中初始线性映射矩阵；本发明使用多个主题向量Vi作为Attention层的Query输入；

(2.2)双向GRU网络模块：本模块主要有以下功能：将步骤(1)中预处理的文本数据作为输入，对文本输入进行词嵌入后，将词嵌入的词向量输入双向GRU网络，双向GRU网络的输出作为Query和Key，与双向对抗神经网络模块的主体分布计算Attention注意力权重，最终输出输入文本的分类信息；

双向GRU为有监督的神经网络模型、双向对抗神经网络为无监督的神经主题模型；实际操作中，将神经主题模型中学习到的全局主题向量作为双向GRU神经网络中的注意力查询输入，通过反向传播使上述两种模型联合进行同步学习。