[发明专利]层次胶囊与多视图信息融合的答案句子选择方法与装置

说明书

本发明公开了一种层次胶囊与多视图信息融合的答案句子选择方法与装置。首先，对互联网中的包含多个答案的问题文本进行采集和预处理；接着，采用层次胶囊网络，通过其渐进聚合的特征，对编码输出的表征进行信息聚合和单词聚合，保证了有效信息的准确传递，且能使用同一特征进行参数传递；然后，为了解决微调步骤的不稳定性和使用预训练模型的最终输出仅能预测单一标签的问题，通过使用多视图信息融合方法，计算整个BERT编码中间层输出的权重来对学习信息进行加权。本发明能够改善以往答案句子选择方法中忽略了模型内部多层中间输出对答案句子选择的影响、仅能预测单一结果等问题，进而提升答案句子选择的准确性和高效性。

技术领域

本发明涉及一种层次胶囊与多视图信息融合的答案句子选择方法与装置，属于互联网和人工智能技术领域。

背景技术

随着互联网技术的飞速发展，答案句子选择成为信息检索和自然语言处理领域的一个重要子任务，并被应用于许多功能领域，其中应用最为广泛的是社区型问答(Community Question Answering,CQA)。答案选择任务的目标是给定一个问题和相对应的候选答案列表，根据其与给定问题的相关性选择准确的或排名第一的答案，将其视为正确答案。然而，一个问题通常有许多答案，其中包含大量的不相关信息。要从所提供的不同质量的长串答案中找到想要的核心信息可能是非常耗时且困难的。因此，在社区型问答中，根据问题，对答案中的句子进行全面分析并有效地捕捉问题与答案之间的复杂语义关系，可以有效地帮助管理社区或获取有价值的信息。

传统的答案选择模型主要依靠特征工程、语言学工具或词法。这些方法主要是通过人工提取高质量的特征来计算问题之间的相似度。它需要大量具有专业知识的人力和手工操作，既费时又缺乏普适性。因此，为了减少特征工程的工作，深度学习模型的研究思路逐渐成为答案选择的主流。它们可以自动学习问题和答案中的特征以进行答案选择。然而，这类模型一般只考虑问题和答案中每个句子的上下文和语义信息，缺乏信息交互。为此，将注意力机制引入深度神经网络吸引了研究者的兴趣。通过注意力机制的引入，能够有效增加句子表征中相似部分的信息权重，从而更新问题和答案的上下文信息表征。尽管如此，基于注意力的模型也有一定的局限性。大多数模型从网络的隐藏状态中粗略地收集有用的信息，并将它们压缩到一个注意力向量中，但它们在捕捉问题和候选答案之间的各种细粒度方面是不够的。此外，单一的注意力向量可能不足以捕捉问题的不同方面，从而导致答案的不准确性。随着预训练模型的出现，由于其能够将丰富的常识编码到模型参数中，从而捕捉词与语境之间的语义关系，为各种下游任务提供更好的语义特征，因此受到研究者的广泛关注。然而大多数预训练模型都是使用模型的最终输出，并根据不同的任务在模型输出的上层增加相应的应对策略。这种方法忽略了模型内部多层的中间输出对答案句子选择的影响。

发明内容

针对现有技术中存在的问题与不足，本发明尝试通过胶囊网络来解决深度网络模型中因池化操作而丢弃有效信息的问题，且为了避免当句子信息分散而类别数量较少时，因步幅过大而导致信息的丢失产生不利于聚合的问题，提出了层次胶囊网络(HCN)方法。此方法可以聚合整个句子的长度和语义特征，不会因为聚合跨度大而造成信息损失和不匹配。基于此，本发明提出一种层次胶囊网络与多视图信息融合的答案句子选择方法，利用层次胶囊网络聚合整个句子的长度和语义特征，避免因聚合跨度大而造成信息损失和不匹配；并通过多视图信息融合方法使微调步骤趋于稳定且最终输出能预测多个标签，能够有效解决微调步骤的不稳定性和使用预训练模型的最终输出仅能预测单一标签的问题。

为实现上述发明目的，本发明通过以下技术方案来实现：

层次胶囊与多视图信息融合的答案句子选择方法，包括如下步骤：

步骤1：问答对文本采集

通过互联网采集包含多个答案的问题文本与答案文本，积累样本数据集；数据集中的每条样本包括网络文本中的问题和答案；分割数据集形成训练集、验证集和测试集；

步骤2：数据预处理