[发明专利]面向金融行业的基于深度学习文本相似性检测方法

权利要求书

1.面向金融行业的基于深度学习文本相似性检测方法，其特征在于，包括以下步骤：

S1、先将金融行业中的专有名词整理归纳成为一个专有名词词库，再基于条件随机场得到条件概率模型，通过条件概率模型进行概率计算；

S2、使用Bi-LSTM-RNN模型按顺序将句子中的每个单词取出，提取其信息，并将该单词嵌入到语义向量中，从而获取句子的语义表示；

S3、根据神经网络提取出的语义信息，采用非确定自动机实现对句子逻辑的构造分析句子的逻辑结构，将句子组织成树状结构，最后将段落按照向量树的方式表示出来；

S4、将向量树与已有文档数据库内的历史数据文档进行匹配，分别从两个角度比较相似性，一个是向量树之间的相似度，另一个是每个节点之间的相似度，最终得到该文档与已有的历史数据文档的相似度数值；

通过条件概率模型进行概率计算如下：

在条件概率分布P(Y|X)中，输入观测序列X和输出序列Y，计算条件概率P(Y_i＝y_i|x)，P(Y_i-1＝y_i-1,Y_i＝y_i|x)以及相应的数学期望；

对于每个序列i＝0,1,...,n+1，定义前向向量α_i(x)：

然后进行递推：

该公式又可表示为：

α_i(y_i|x)表示在位置i的标记是y_i并且到位置i的前部分标记序列的非规范化概率，y_i取的值有m个，所以α_i(y_i|x)是m维列向量，M_i(y_i-1,y_i|x)是转换矩阵；

同样，对每个序列i＝0,1,...,n+1，定义后向向量β_i(x)：

递推：

β_i(y_i|x)＝M_i(y_i,y_i+1|x)β_i-1(y_i+1|x)            (5)

同样也可以表示为：

β_i(x)＝M_i+1(x)β_i+1(x)                       (6)

β_i(y_i|x)表示在位置i的标记为y_i，并且从i+1到n的标记序列的非规范化概率；

由前向-后向向量定义不难得到：

这里，1是元素均为1的m维向量；Z(x)表示中间变量；

依据前向-后向向量的定义，计算标记序列在位置i是标记y_i的条件概率和在位置i-1与i是标记y_i-1和y_i的条件概率：

其中，

利用前向-后向向量，计算特征函数关于联合分布P(X,Y)和条件分布P(Y|X)的数学期望；

特征函数f_k关于条件分布P(Y|X)的数学期望是

其中，

假设经验分布为特征函数f_k关于联合分布P(X,Y)的数学期望是

其中，

公式是(17)特征函数数学期望的计算公式；对于转移特征t_k(y_i-1,y_i,x,i),k＝1,2,...,K，能将式中的f_k换成t_k即转移特征；对于状态特征s_i，能将式中的f_k换成s_i即状态特征，根据公式(5)-(17)，对于给定的观测序列X与标记序列Y，通过一次前向扫描计算α_i(x)及Z(x)，通过一次后向扫描计算β_i(x),从而计算所有的概率和特征的期望。