[发明专利]一种无监督的文本相似度计算方法

权利要求书

1.一种无监督的文本相似度计算方法，其特征在于，包括：

步骤一：进行嵌入层模型预训练，对问题集合中的所有词进行预训练，生成满足模型需要的词向量；

步骤二：编码层网络，挖掘句子的语义信息；

步骤三：进行基于TFIDF融合的模型改进，包括：

在每条问句输入到神经网络的同时，对输入的每条问句进行TFIDF的计算，并将计算好的权值输入到神经网络中，控制最后的句子向量表示，采用了归一化的TFIDF计算方法，并将其融入到编码层和表示层；

归一化的TFIDF算法包括：

输入：问答集分词结果S，其中，s_i是第i个问题分词结果；记为第i个问题分词结果s_i中的第j个词汇；

输入问答集中句子的分词结果集合S；

针对集合S中的每一个问句s_i，取并集，获得所有的分词词汇集合W，其中k为集合S中所有词汇的个数：

计算集合W中每一个词汇w_p的归一化TF-IDF值：

其中，TFIDF(w_p)为词汇w_p的TF-IDF值，为集合W所有词汇的TF-IDF之和；

w_p的TF-IDF值TFIDF(w_p)计算如下：

TF值：TF(w_p)＝n_w/n_s，其中，n_w表示w_p在该句子中出现的次数，n_s表示该句子中的词汇总数；

IDF值IDF(w_p)＝log N/N_w，其中，N表示句子总数，N_w表示含有该词汇的句子总数；

计算w_p的TF-IDF值：

TFIDF(w_p)＝TF(w_p)*IDF(w_p)；

输出：基于TF-IDF的词汇归一化结果集合；

进行编码层TFIDF的融合包括：

通过对LSTM门控结构分析，输入门控制着进入网络的信息量，将TFIDF的信息添加进入输入门，并用其控制信息的记忆；

对输入门计算更新为如下：

i_t＝σ(ω_i[h_t-1，x_t]+b_i)；

i′_t＝i_t*softmax(tfidf(t))；

表示层TFIDF的融合，在LSTM网络的输出状态输出时通过加权输入语句的TFIDF值；

模型的表示层计算更新为如下：

h′_t＝h_t*softmax(tfidf(t))；

其中，h_t为时间步t时刻的输出。

2.如权利要求1所述的无监督的文本相似度计算方法，其特征在于，采用了Word2Vector模型和BERT模型来进行嵌入层模型的预训练。

3.如权利要求2所述的无监督的文本相似度计算方法，其特征在于，Word2Vector包括：训练模型CBOW和训练模型Skip_gram。

4.如权利要求2所述的无监督的文本相似度计算方法，其特征在于，BERT模型训练层包括预训练语言模型阶段和根据具体语义标注任务的模型改造阶段，其中在预训练阶段中，采用MaskedLM和Next Sentence Prediction两种方法分别捕捉词语和句子级别的语义表达，以期获取准确的语言模型。

5.如权利要求1所述的无监督的文本相似度计算方法，其特征在于，步骤二选用了Bi-LSTM网络来进行编码和训练。

6.如权利要求5所述的无监督的文本相似度计算方法，其特征在于，LSTM细胞结构包括：

LSTM通过三种门结构来对信息进行筛选，以此来控制信息输出，分别为遗忘门、输入门和输出门，LSTM隐藏层内部信息更新包括：

f_t为t时刻遗忘门输出的值，遗忘门是控制历史信息对当前细胞单元状态的影响，计算公式如下：

f_t＝σ(ω_f[h_t-1，x_t]+b_f)；

i_t为t时刻输入门输出的值，输入门的作用是当前的输入信息对当前细胞单元状态的影响，计算公式如下：

i_t＝σ(ω_i[h_t-1，x_t]+b_i)；

当前细胞状态单元的候选值，通过得到当前时刻细胞单元的状态值C_t，计算公式如下：

O_t为当前细胞状态单元的输出候选值，由输出门进行控制，通过O_t与C_t进行结合得到细胞单元在该时刻的输出h_t，计算公式如下：

O_t＝σ(ω_o[h_t-1，x_t]+b_o)；

h_t＝O_t*tanh(C_t)。