[发明专利]一种基于语义文档表达的文本相似度量方法

说明书

本发明提供一种基于语义文档表达的文本相似度量方法，包括：获取待比较的两个文本，对每个文本的句子分别进行分词预处理；将两个文本预处理后的词汇进行映射，生成词向量；通过卷积神经网络模型CNN和双向长短时记忆循环网络模型BiLSTM对每个文本均进行处理，提取出每个文本的CNN句子语义特征和BiLSTM句子语义特征；对每个文本的每个句子语义特征均通过注意机制模型捕获关注特征，生成权重向量，计算权重和，生成CNN语义表示向量和BiLSTM语义表示向量，将每个文本各自的两个语义表示向量分别进行拼接，生成词汇语义关联特征向量；根据两个文本的词汇语义关联特征向量构建相似度计算函数，计算出两个文本句子的相似度。

技术领域

本发明属于自然语言处理技术领域，具体涉及一种基于语义文档表达的文本相似度量方法。

背景技术

针对文本类题目的智能评卷时，考虑是否存在考生答案雷同，是否抄袭题干，考生答案和参考答案的相似度量等都是具有现实意义的需求，而实现智能评卷如何在文本相似度量上给出更为合理有效的度量方法是研究重点和难点，当前现有的语义相似度计算方法可归纳为三类：

基于字面匹配的语义相似度计算方法。比较典型的有基于LCS、TF-IDF的语义相似度计算方法。基于LCS的语义相似度计算方法是利用两个文本中词语的最大公共子串的长度来计算文本之间的相似度；基于TF-IDF的语义相似度计算方法是将文本建模成词频向量，运用余弦相似度来衡量文本之间的相似度。这类方法的优点是计算速度快、工作量小，缺点是忽略了词语的语义信息，需要人工设定停用词表。

基于潜在语义分析的概率主题语义相似度计算方法。比较典型的有基于LSA、LDA的文本语义相似度计算模型。主要思想是利用词语中的共同信息对文本进行主题建模，挖掘出文本中潜在的语义信息，从而计算出文本之间的语义相似度。优点是考虑到了词语的深层语义信息，缺点是没有考虑到词与词之间的位置关系，受样本种类限制较大。

基于深度学习的语义相似度计算方法。有些文献同时关注词汇间的语义信息和句子间的整体信息，即用分布式词向量表示方法计算词汇之间的相似性，再通过句子变换矩阵来度量句子间的语义距离，然而上述方法忽略了句子间的潜在特征。有些文献采用CNN整合局部词语之间的语义关系，但缺少长时序列依赖的解决，有些采用LSTM对整个句子进行编码结合注意力机制，但对于局部特征提取不足。

此外还有基于编辑树和句法特征的语义相似度计算方法，这些方法需要大量的人工进行特征工程的工作，同时还受到其他大量因素的影响，在实际应用时受限较大。

综上所述，基于字面匹配与基于潜在语义分析的语义相似度模型方法均存在一定的问题，前者未考虑到文本的语义、语法含义，后者忽视了文本中词与词之间的位置关系，需人工进行特征提取，误差较大。

此为现有技术的不足，因此，针对现有技术中的上述缺陷，提供一种基于语义文档表达的文本相似度量方法，是非常有必要的。

发明内容

针对现有技术的上述基于字面匹配与基于潜在语义分析的语义相似度模型方法均存在一定的问题，前者未考虑到文本的语义、语法含义，后者忽视了文本中词与词之间的位置关系，需人工进行特征提取，误差较大的缺陷，本发明提供一种基于语义文档表达的文本相似度量方法。

本发明提供一种基于语义文档表达的文本相似度量方法，包括如下步骤：

S1.获取待比较的第一文本及第二文本，对每个文本的句子分别进行分词预处理，并去除标点符号；

S2.将第一文本及第二文本预处理后得到每个词进行映射，生成词向量，所述词向量与卷积神经网络模型CNN及双向长短时记忆循环网络模型BiLSTM匹配；

S3.通过卷积神经网络模型CNN和双向长短时记忆循环网络模型BiLSTM对每个文本均进行处理，提取出每个文本的CNN句子语义特征向量和BiLSTM句子语义特征向量；