[发明专利]基于语义对齐的视觉对话生成系统

说明书

本发明涉及一种基于语义对齐的视觉对话生成系统。本发明对图像信息的提取从两个方面进行：分别是全局和局部。通过语义对齐获取全局的基于语义的图像表示，同时通过dense caption获取局部密集图像描述，文本表示的高级语义有助于更好的信息获取。两者共同为生成回复提供图像信息的线索。同时从文本流畅度、文本连贯度和正确度来进行全面的约束，指导回复的生成。此外，本发明实施例提出采用关键词约束的方法来约束回复的正确性，进而丰富生成回答的表示形式。

技术领域

本发明实施例涉及语言处理技术领域，具体涉及一种基于语义对齐的视觉对话生成系统。

背景技术

近年来，随着人工智能与机器人领域如火如荼的发展，视觉与语言的多模态语义理解在计算机视觉和自然语言处理领域得到了越来越多的关注和重视。人机交互不能只考虑单一模态，在现实生活中，人与人之间的交互往往不限制于单一的文本、视觉或听觉。具有多模态的自然交互方式不仅能够实现更加友好的机器与人类的交互界面，而且是实现强人工智能的必由之路。

通过分析视觉和语言来理解现实世界，是人工智能实现类人能力的首要任务，这促进了视觉对话研究的发展，即人与机器基于视觉内容进行多轮对话的交互。视觉对话的交互是多模态的，包括文本、视觉，不同模态都包含了丰富的信息，如何根据对话从视觉内容中获取正确、充足的信息，成为视觉对话中关键的挑战之一。因此，在视觉对话任务中，需要从图像中获取充足的信息，获取的图像信息要与对话中的文本信息进行正确的交互，这成为目前视觉对话任务的研究要点。

传统的视觉对话生成系统存在如下缺点：

1.无法获取充足、易与文本进行融合的图像特征

1)目前的视觉对话系统的关注点大多是在如何提取更丰富的图像信息，以及针对问题内容自适应地关注相关的图像区域。但是图像不仅包含实体信息，还有实体之间的位置关系、语义关系信息，目前常用的通过CNN、Faster-RCNN进行图像特征提取，并不能构建出完整的图像信息，通过构建场景图可以获取更丰富的图像信息，但是易出现误差传播。

2)目前通常将图像特征与问题、对话历史进行多模态之间信息融合。这种处理忽略了不同模态信息的表示本身就有差距，图像特征和语义信息在没有进行很好的对齐的前提下，能否根据提取到的图像特征真正的获取到充足的信息，去生成回复，仍然存疑。

2.过多依赖对话历史而非图像信息来生成回复。在视觉对话数据集VisDial中，大约80％的问题能够只根据图像生成回复，大约20％的问题需要获取对话历史后才能生成回复。因此，在视觉对话中，图像信息的获取和使用非常重要。然而，目前很多模型虽然尝试从图像中获取更多、更具有针对性的信息，却忽略了效果的提升是否是因为过多的加入历史信息而造成的干扰。

3.没有考虑生成式的视觉对话的文本质量。当前大部研究均构造判别模型(discriminative model)，少部分构造生成模型(generative model)，因此几乎没有对于生成式的视觉对话文本质量的关注，往往都是通过最大化与ground truth的回答之间的对数似然函数，忽视了对话本身需要关注的文本质量这一问题。

由上述分析可知，传统的视觉对话生成系统有待改进。

发明内容

本发明实施例提供了一种基于语义对齐的视觉对话生成系统，用以解决上述至少一个技术问题。

本发明实施例提供一种基于语义对齐的视觉对话生成系统，包括：编码器和解码器；

所述编码器用于：

通过Faster R-CNN的变体模型，提取给定图像的区域视觉特征；

通过概念提取器，获得从所述给定图像提取的文本单词构成的词向量；