[发明专利]一种基于句内注意力模型的LSTM文本语义匹配方法及系统

说明书

本发明提出一种基于句内注意力模型的LSTM文本语义匹配方法及系统，包括：将多个待匹配的文本分别转换为对应的输入序列，并将所述输入序列输入长短期记忆神经网络获取对应的隐含状态序列；将所述隐含状态序列输入句内注意力模型，获取隐含状态序列的权值；将所述隐含状态序列权值与所述隐含状态序列进行加权处理，获取所述输入序列对应的特征序列；将多个所述待匹配文本对应的特征序列进行特征融合后输入分类器，获取匹配结果；本发明可有效提高文本匹配效果。

技术领域

本发明涉及领域，尤其涉及一种基于句内注意力模型的LSTM文本语义匹配方法及系统。

背景技术

在现实生活中，许多任务都可以抽象为匹配问题，而对于文本类的匹配任务要提高其匹配的准确度，须首先对文本语义进行分析。文本从本质上来说是人类自然语言片段，属于非结构化数据，而要对其进行语义匹配、增强等处理必须要先将其转换成计算机容易识别的包含语义信息的结构化数据，之后再进行匹配。

在语义表示方面，向量空间模型(Vector Space Model，VSM)由G.Salton等人于上世纪60年代末提出，最早被应用于信息检索领域，是目前最有效和应用最为广泛的带有语义信息文本结构化表示模型之一。由Salton在1988年提出的TF-IDF综合考虑了特征词在文档中的重要性和在语料库中的普遍性，是作为提取文本浅层语义最简单有效的方法。Bengio在2001年提出的N-gram模型利用上下文中相邻词间的搭配信息计算出整句的概率。Lenci A通过上下文中词语的统计分布提出了一种语义共享的方法，这对于描述句子中的语义行为起着关键作用。Wen于2015年提出了一种基于递归神经网络(Recurrent NeuralNetworks，RNN)的多域语义条件神经网络，利用简单的交叉熵训练准则，通过联合优化的句子对未标记的数据进行学习，从输出候选集中获取语言变化规律。通过LSTM学习长期依赖信息,并利用条件随机场对序列建模的能力，一种基于Bi-LSTM-CRF模型的方法被应用于语义槽抽取。

在文本匹配方面，Mikolo等人提出用词向量结合深度文本匹配模型可以更好地解决词语匹配的多元性问题。Lu和Li将短文本的局部匹配特征和层次匹配特征相结合，提出了一种深层模型(Deep Match)，该模型在评论和问答类的匹配上取得了出色的效果。此外，Huang、He等人针对搜索结果排序任务提出了一种将查询和文档映射到低维语义空间的基于深层结构的匹配模型。Wang、Lu等人构造了一个包含浅层语义相似度、基于内容、基于规则的匹配特征等15种浅层匹配特征的数据集，主要应用在基于检索的匹配模型。MERoberts等人提出将多种可能的表示和距离度量用于匹配。berger和Lafferty提出使用统计模型计算候选词和查询词间的相似性概率，从而实现了同义或者近义词之间的匹配映射。

综上所述，深度学习在文本语义表示方法中，虽然有强大的表征能力，但语义的表示较机械化，自适应能力差，不能够最大限度发挥深层模型的优势。例如由Word2vec得到的单词向量表示对于汉语中的一词多义现象，无法做到上下文重叠；再如RNN模型通过最后的压缩向量来表示一个句子的语义，而相同的语句在不同的语境或者上下文中其语义或者语义贡献度是不同的，甚至用不同的语气表达都会造成语义上的区别，因此深度学习方法欠缺对语义的感知度。

发明内容

鉴于以上现有技术存在的问题，本发明提出一种基于句内注意力模型的LSTM文本语义匹配方法及系统，主要解决现有文本匹配效果差的问题。

为了实现上述目的及其他目的，本发明采用的技术方案如下。

一种基于句内注意力模型的LSTM文本语义匹配方法，包括：

将多个待匹配的文本分别转换为对应的输入序列，并将所述输入序列输入长短期记忆神经网络获取对应的隐含状态序列；

将所述隐含状态序列输入句内注意力模型，获取隐含状态序列的权值；

将所述隐含状态序列权值与所述隐含状态序列进行加权处理，获取所述输入序列对应的特征序列；