[发明专利]面向金融行业的基于深度学习文本相似性检测方法

说明书

本发明提出了一种面向金融行业的基于深度学习文本相似性检测方法，包括：S1、步骤：建立专有名词词库，再基于条件随机场得到条件概率模型，通过条件概率模型进行概率计算。S2、使用Bi‑LSTM‑RNN模型按顺序将句子中的每个单词取出，提取其信息，并将其嵌入到语义向量中，从而获取句子的语义表示。S3、根据神经网络提取出的语义信息，分析句子的逻辑结构，将句子组织成树状结构，最后将段落按照向量树的方式表示出来。S4、将文本中提取到的向量树与数据库内的历史数据文档进行匹配，分别从两个角度比较相似性，一个是向量树之间的相似度，另一个是每个节点之间的相似度，最终得到结果。

技术领域

本发明属于自然语言处理领域，具体设计一种面向金融行业的基于深度学习文本相似性检测方法。

背景技术

随着信息技术和人工智能的发展，越来越多的数据被归类整理，如何利用好这些大量的历史数据变得十分重要。对于很多科技公司来说，用户产生的历史数据是一份极其珍贵的财富。而现阶段很多数值型、可结构化储存的数据已经得到了很好的利用，各种数据挖掘的方法层出不穷，但是对于自然语言的数据，还没有得到比较好的结构化的整理，也缺乏成熟的挖掘技术。目前来说，很多领域都有自然语言写成的文档，而这些历史文档对于新的问题也有指导作用。中文领域中由于语言的特性，自然语言处理相对较难，而语料库也相对来说比较大，因此本文关注的是中文自然语言写成的文档的检索与利用。

目前的文本相似度算法大致分为三类：基于字符串的相似度算法、基于语料库的相似度算法，基于知识库的相似度算法。基于字符串的信息检索大多基于统计学或者是概率论的方法，如TF-IDF，BM25等方法。基于知识库的方法有利用混合相似度测量的方法测量文本相似度，也有构造语法树结合语法树和单词的相似度对文本的相似度进行分析。基于语料库的方法，在近些年来借助神经网络，将单词转化为向量再对文本的相似度进行分析。

但是单纯考虑单词的重合度，在某些领域中是有失偏颇的。同时，对于构建语法树的方法来说，如果句子的结构过长会导致语法树过于复杂，从而使比较过程陷入局部的树结构中。对于神经网络来说，同样对于长文本来说，其输入的维数会急剧上升。

发明内容

本发明提出了一个针对中文长文本的相似度计算方法。把单个句子作为最小的单元，而不是单词，同时保留语义属性。然后将最小的单元按照句子间的逻辑关系组织成一棵树，类似于一句话构造成的语法树。从而降低了匹配过程的复杂度。该方法基于一个语料库，利用神经网络压缩并保留句子内的语义关系，同时避免了统计学方法中对于大量单一的单词难以区分文本语料的劣势。

本发明的目的是研究自然语言处理的理论方面，提出一种面向金融行业的基于深度学习文本相似性检测方法，包括如下步骤：

S1、先将金融行业中的专有名词整理归纳成为一个专有名词词库，再基于条件随机场得到条件概率模型，通过条件概率模型进行概率计算；

S2、使用Bi-LSTM-RNN模型按顺序将句子中的每个单词取出，提取其信息，并将该单词嵌入到语义向量中，从而获取句子的语义表示；

S3、根据神经网络提取出的语义信息，采用非确定自动机实现对句子逻辑的构造分析句子的逻辑结构，将句子组织成树状结构，最后将段落按照向量树的方式表示出来；

S4、将向量树与已有文档数据库内的历史数据文档进行匹配，分别从两个角度比较相似性，一个是向量树之间的相似度，另一个是每个节点之间的相似度，最终得到该文档与已有的历史数据文档的相似度数值。

进一步的，所述步骤S1中获到条件概率模型的过程包括：定义条件随机场,线性链条件随机场和系统名称，利用训练数据集通过极大似然估计或正则化的极大似然估计得到条件概率模型P(Y|X)。预测时，对于给定的观测序列X，求出条件概率模型P(Y|X)最大的输出序列Y；

进一步的，定义条件随机场具体为：