[发明专利]一种基于概率模型的短文本相似度计算方法

摘要

本发明公开一种基于概率模型的短文本相似度计算方法，致力解决小样本条件下短文本相似度计算问题；相较于词嵌入模型，概率模型对样本数量以及质量要求不高，在实际生产实践中具有更好的实用性和适用性；相较于一般的概率模型，引入弱增量式设计降低概率模型的计算效复杂度，提高模型计算效率；相较于传统的向量空间模型，引入权重系数b用来控制文档长度对文本相似度的影响；引入权重系数k1控制调制不同词频对文本相似度的影响，提高了短文本相似度的准确度。

主权项

1.一种基于概率模型的短文本相似度计算方法，其特征在于：包括以下步骤：S01)、输入模组获取训练数据集或者测试样本，生成规范化文本；S02)、自然语言处理模组对规范化文本进行整理分析，完成业务的结构化、切片化以及多维度定义，生成结构化文本；S03)、概率计算模组对结构化文本进行训练和预测，训练过程完成训练集词语映射文档，以及每个词语对每个文档的权重计算，预测过程是当用户输入查询语句时计算与其余训练集每个问题的相关性得分，基于概率模型的训练过程为：S31)、根据结构化文本构建训练词语集合WordList；S32)、遍历计算WordList中每个词语word_i(1≤i≤n)对问题的权重，得到词语对文档权重集合WordIDF，S33)、遍历训练集合文档列表DocList，计算每个文档相对长度，首先计算每个文档的平均长度Avgl，然后计算文档平均长度与所有文档平均长度的比值，即文档的相对长度Ratl，得到文档相对长度集合DocLength，其中代表文档d_i的总长度，代表文档d_i句子的个数，N为训练集文档总数；S34)、基于BM25算法计算词语word_i和文档d_j的相关性得分，相关性公式为b、k₁、k₂为调节因子，f_i为词语word_i在文档d_j中的出现频率；为文档d_j的相对长度；qf_i为词语word_i在查询文档中出现的频率，遍历WordList和DocList得到每个词语与每个文档的相关度集合WordDocCoef；S35)、输出结构化训练结果到初始化模组，包括b、k₁、k₂初始值、词语对文档权重集合WordIDF、文档相对长度集合DocLength以及每个词语与每个文档的相关度集合WordDocCoef；基于概率模型对用户查询进行预测的过程为：自然语言处理模组对用户查询语句进行结构化处理生成词语列表word_i(1≤i≤n)，得到训练集中所有问题与每个word_i相关性得分后权重求和，从而得到查询问句与训练集中每个问题的相关性得分，公式为：其中word_i为查询问句Q的词语，n为查询问句中词语的个数；S04)、初始化模组管理结构化训练数据，一方面在进行预测分析初始阶段输出结构化训练数据到概率计算模组并完成初始化，另一方面可根据短文本相似度结果在初始化模组更新b、k₁、k₂的初始值，优化概率模型；S05)、相似度分析模组对概率计算模组输出的相似度列表进行分析，为概率模型优化提供建议。