[发明专利]一种非结构化文本相似性判断的方法及系统

说明书

一种非结构化文本相似性判断的方法及系统属于数据处理技术领域，尤其涉及一种非结构化文本相似性判断的方法及系统。本发明提供一种非结构化文本相似性判断的方法及系统。本方案具体实施步骤如下：1.输入非结构化数据。该非结构化数据可以是来自于网络爬虫的网页或word文档等。2.文本抽取。从非结构化数据中提取文本信息。此步骤采用apache tika（apache组织开源文本抽取组件）进行文本内容的抽取，可兼容多种格式的文本内容抽取，如excel、pdf、xml、json、markdown等，该步骤最终输出抽取后的txt文件。

技术领域

本发明属于数据处理技术领域，尤其涉及一种非结构化文本相似性判断的方法及系统。

背景技术

非结构化数据是指数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。包括网页文本、所有格式的办公文档、文本、图片、XML,HTML、各类报表、图像和音频/视频信息等等。

文本相似性度量是指对两个文本之间相似度的度量，其在多个领域有着广泛的应用。如在信息检索中，可以用相似度来识别相似的词语，提高召回率。自动问答场景中，相似度在可以用于计算用户以自然语言的提问问句与语料库中问题的匹配程度，将匹配度最高的问题对应的答案最为响应返回。而在机器翻译应用中，通过分析语句的相似度来完成双语的翻译，能否准确定义并计算相似度将影响最终翻译的效果，此时，通常的做法是是直接利用语句中每个词的语法和语义来分析相似度，或先分析语句的依存树，然后再计算相似度。自动文摘场景中，相似度用来对语义相似的句子进行抽取，形成最终的摘要。

非结构化数据的文本相似性判断需先对非结构化数据进行抽取、清洗、预处理。在得到有效传文本后，再进行后续分析。由于文本是一种高维的语义空间，需对其进行抽象分解，从而能够在数学角度去量化其相似性。

随着互联网的快速发展及大数据时代的到来，各种非结构化数据数据量呈指数性增长，对非结构化文本分析的时效性，性能等都提出了新的要求。

目前，针对非结构化文本相似性度量已有一定的方案，但存在性能较为低下，不适合于对长文技术本的判断；或不适用大数据集，忽视了文本中语义和语法的表达；或复杂度较高，通过关键词的特征向量表达文本的特征，不易存储等缺点。

现有技术的缺点及其原因分析：

现有技术方案一：基于Jaccard相似度的文本相似度判定方法基于Jaccard相似度的文本相似度判定方法在申请号为【201610807202.6】，标题为：《一种基于改进的Jaccard系数确定文档相似度的方法》的专利中，提出了此种计算方法。其基于Jaccard相似度的计算原理，做出了部分改进。其处理过程为：通过定义好的k值，采用k-shingle算法，分别从待比较的两篇文档中从其实位置开始扫描，提取文本中k个长度的所有字符。例如：文本内容为abcdefg，设k为2，则获得的词语数组为：ab,bc,cd,de,ef,fg。根据Jaccard相似度原理，文档X和文档Y的Jaccard相似度等于文档X和文档Y的交集大小与并集大小的比值,区别与标准的Jaccard相似度的计算，此专利中对词语对每个元素(即：划分后的词语)所占的比重采用出现的次数(词频)进行了加权。同时也对最终相似度的得分也进行了部分改进，但该部分改进内容将带来时间复杂度的大幅度提升。

该方案较为粗糙，存在着明显的缺点：首先，未考虑文档的语义，忽略了词的上下文关系，忽略了词的位置关系，仅是从字符串比较的层面上判断相似度。同时，未采用通用词库对文档进行分词，而是从起始位置顺序进行划分，此做法会造成对不必要的停止词的计算，造成计算资源的浪费；同时会在大概率上造成造成划分的词不构成词，进行影响最终的相似度判断。实际上，该专利的此种做法代表着文本相似度判断的一类经典实现，即：基于关键词匹配。此类方法通常采用N-gram相似度或Jaccard相似度，即基于关键词匹配的方式通过两个长得很像的句子间的“差异”来衡量相似度。

现有技术方案二：基于TF-IDF结合minHash的文本相似度计算方式