[发明专利]面向智能问答基于语义特征立方体的句子对语义匹配方法

说明书

本发明公开了面向智能问答基于语义特征立方体的句子对语义匹配方法，属于人工智能、自然语言处理技术领域。本发明要解决的技术问题为如何捕获更多的语义上下文特征、时序特征、不同维度间编码信息的联系和句子间的交互信息，以实现句子对的智能语义匹配，采用的技术方案为：通过构建并训练由多粒度嵌入模块、深层语义特征立方体构造网络模块、特征转换网络模块和标签预测模块组成的句子对语义匹配模型，实现对句子信息的深层语义特征立方体表示和语义特征的三维卷积编码表示，同时通过注意力机制生成句子对的最终匹配张量并判定句子对的匹配程度，以达到对句子对进行智能语义匹配的目标。该装置包括句子对语义匹配知识库构建单元、训练数据集生成单元、句子对语义匹配模型构建单元及句子对语义匹配模型训练单元。

技术领域

本发明涉及人工智能、自然语言处理技术领域，具体涉及面向智能问答基于语义特征立方体的句子对语义匹配方法。

背景技术

智能问答系统是人机交互的核心技术之一，能够针对用户提出的问题自动在问答知识库中找到与之匹配的标准问题，并将标准问题的答案推送给用户，可以大大减轻人工答复的负担。智能问答系统在自助服务、智能客服等领域有着广泛的现实应用。对于用户提出的千差万别的问题，如何为其找到相匹配的标准问题，是智能问答系统的核心技术。该技术的本质是衡量用户提出的问题与问答知识库中标准问题的匹配程度，其实质是句子对语义匹配任务。

句子对语义匹配任务旨在衡量两个句子所蕴含的语义是否一致，这与许多自然语言处理任务的核心目标是一致的，如前所述智能问答系统。自然语言句子的语义匹配度计算是一项极具挑战的工作，现有方法还尚未能完善地解决这一问题。

现有方法通常在对句子对的语义进行匹配时，首先需要设计特定的神经网络对句子进行语义编码，以此来提取相应的语义特征。而对于文本语义编码来说，应用最广泛的编码模型为一维卷积神经网络、二维卷积神经网络和循环神经网络及其各种变种结构。应用这些网络结构的方法大多集中于挖掘更深层次的语义信息，而句子中的时序信息并未得到充分利用。例如，卷积神经网络由于擅长捕获局部特征而被应用于多种自然语言处理任务，但是无论是一维卷积神经网络还是二维卷积神经网络，它们能够捕获的时序信息是都由它们的卷积核大小决定的，而与句子的长度相比，它们的卷积核大小都是十分有限的。因此，应用一维卷积神经网络的方法或应用二维卷积神经网络的方法在处理句子的过程中，难免会损失部分时序特征。循环神经网络及其变种结构由于具有类似链状的结构，所以其在处理文本信息时可以自然地保留句子中蕴含的时序信息，这些信息对于文本的建模表示非常重要。但是，如果仔细观察循环神经网络的结构就不难发现，它对于时序信息的处理仅仅是保留下来。也就是说，循环神经网络并没有对时序特征维度上的信息做任何的针对性的挖掘和处理。综上所述，一维卷积神经网络、二维卷积神经网络和循环神经网络都未能充分挖掘利用句子中的时序信息。

发明内容

本发明的技术任务是提供一种面向智能问答基于语义特征立方体的句子对语义匹配方法，来达到充分发挥卷积神经网络的优势，以此捕获更多的语义上下文信息和句子间的交互信息，并通过注意力机制，最终达到对句子对进行智能语义匹配的目的。

本发明的技术任务是按以下方式实现的，一种面向智能问答基于语义特征立方体的句子对语义匹配方法，该方法是通过构建并训练由多粒度嵌入模块、深层语义特征立方体构造网络模块、特征转换网络模块和标签预测模块组成的句子对语义匹配模型，实现对句子信息的深层语义特征立方体表示和语义特征的三维卷积编码表示，同时通过注意力机制生成句子对的最终匹配张量并判定句子对的匹配程度，以达到对句子对进行智能语义匹配的目标；具体如下：

多粒度嵌入模块对输入的句子以字粒度和词粒度分别进行嵌入操作，得到句子的多粒度嵌入表示；

深层语义特征立方体构造网络模块对句子的多粒度嵌入表示进行编码操作，得到句子的深层语义特征立方体；

特征转换网络模块对句子对的深层语义特征立方体进行进一步地特征编码、特征匹配和特征筛选操作，得到句子对的匹配向量；