[发明专利]一种基于语义文档表达的文本相似度量方法

权利要求书

1.一种基于语义文档表达的文本相似度量方法，其特征在于，包括如下步骤：

S1.获取待比较的第一文本及第二文本，对每个文本的句子分别进行分词预处理，并去除标点符号；

S2.将第一文本及第二文本预处理后得到每个词进行映射，生成词向量，所述词向量与卷积神经网络模型CNN及双向长短时记忆循环网络模型BiLSTM匹配；

S3.通过卷积神经网络模型CNN和双向长短时记忆循环网络模型BiLSTM对每个文本均进行处理，提取出每个文本的CNN句子语义特征向量和BiLSTM句子语义特征向量；

S4.针对每个文本的每个句子语义特征均通过注意机制模型捕获关注特征，生成权重向量，计算权重和，生成CNN语义表示向量和BiLSTM语义表示向量，再将每个文本各自的两个语义表示向量分别进行拼接，生成词汇语义关联特征向量；

S5.根据第一文本及第二文本的文本的词汇语义关联特征向量构建相似度计算函数，计算出第一文本及第二文本句子的相似度。

2.如权利要求1所述的基于语义文档表达的文本相似度量方法，其特征在于，步骤S1具体步骤如下：

S11.获取待比较第一文本及第二文本的领域；

S12.根据文本计算目标构建专业词典；

S13.根据文本领域及构建的专业词典，通过分词工具进行分词，去除设定停用词及标点符号，并设定待进行分词的句子长度。

3.如权利要求2所述的基于语义文档表达的文本相似度量方法，其特征在于，步骤S13中，所述分词工具采用结巴分词工具。

4.如权利要求2所述的基于语义文档表达的文本相似度量方法，其特征在于，步骤S2具体步骤如下：

S21.根据设定的待分词句子长度，从每个文本中获取与句子长度等长的句子序列；

S22.将句子序列的每个词汇均进行映射，生成词向量；

S23.通过word2vec向量映射工具将词向量生成词向量矩阵，所述词向量矩阵与卷积神经网络模型CNN输入匹配；

S24.根据词向量生成词向量序列，所述词向量序列与双向长短时记忆循环网络模型BiLSTM输入匹配。

5.如权利要求4所述的基于语义文档表达的文本相似度量方法，其特征在于，步骤S22具体步骤如下：

S221.获取每个文本的句子序列的每个词汇，并设定当前词汇；

S222.判断当前词汇是否存在词向量；

若是，将当前词汇进行映射，生成词向量，进入步骤S224；

若否，进入步骤S223；

S223.将当前词汇进行二次分词，获取子词，将当前词汇的所有子词的词向量的均值作为词向量；

S224.判断句子序列的每个词汇是否均映射完成；

若是，进入步骤S23；

若否，定位句子序列的下一个词汇为当前词汇，返回步骤S222。

6.如权利要求5所述的基于语义文档表达的文本相似度量方法，其特征在于，步骤S223中，若子词仍然没有词向量，则将对子词继续拆分，将每层词向量的均值返回上层；

若拆分至单字序列仍然没有词向量，则进行确实标记，标记为未知词向量，用相应长度的零向量表示。

7.如权利要求4所述的基于语义文档表达的文本相似度量方法，其特征在于，步骤S22中，词汇映射的词向量为稠密向量；

步骤S23中，通过word2vec向量映射工具将句子序列的每个词汇映射到词向量，并对词向量进行预训练。