[发明专利]一种基于图文匹配的智能人机交互方法及装置

说明书

本发明公开了一种基于图文匹配的智能人机交互方法及装置，属于计算机视觉领域。所述方法包括：收集用户的语音信息转为文字序列，使用自然语言处理技术提取文字序列中的目标特征；采集真实环境图像，并采用深度卷积神经网络对所述原始图像数据提取自然图像特征；对原始图像中的各个目标与文字序列中的目标分别进行匹配度计算，取匹配度最大的图像中目标为匹配结果，并转化为机器指令。该发明结合计算机视觉技术与自然语言处理技术实现复杂命令与真实图像的匹配，能够根据一条自然语言表达指令，自动定位图像中的相关实体目标，使得交互过程更加自然，能够应用于助残机器人、救援机器人、特种机器人等广泛场景。

技术领域

本发明涉及计算机视觉领域，特别是涉及一种基于图文匹配的智能人机交互方法及装置。

背景技术

随着计算机与机器人的智能化程度越来越高，机器已经能够辅助人类完成涉及医疗、工业生产、娱乐休闲、家庭服务、特种服务等各个领域下的复杂任务。广泛的应用场景对传统的人机交互系统提出了更高的要求，尤其是智能机器如何与人更好地进行交互和协同。人机交互的目的是，结合人类和机器各自的优势从而更好地完成复杂的人机协同任务，其最终目标是实现人类和机器在应用场景中的自然互融。然而，目前人机交互局限于单一模态的命令交互或者直接接触式的交互方式，交互效率低，大大影响其系统性能和用户体验。

语言和视觉信息在人类交流中有着密切的联系，在我们的社交和专业交流中经常进行文本指代与图像目标的匹配任务。而人机交流中同样需要类似的跨模态匹配方法。具体来说，一幅场景图像通常包含多个目标实体，为了匹配文本指令中所指的目标实体在图像中的具体位置，需要一种自然语言与图像的匹配方法，连接视觉与文本信息。

发明内容

有鉴于此，本发明提供的一种基于图文匹配的智能人机交互方法及装置，该方法结合计算机视觉技术与自然语言处理技术进行跨模态图文匹配，能够根据一条自然语言表达指令，自动定位图像中的相关实体目标。主要目的在于解决现有技术中人机交互局限于单一模态的命令交互或者直接接触式的交互方式，交互效率低的问题。

根据本发明一个方面，提供了一种基于图文匹配的智能人机交互方法，该方法包括步骤：S1语音识别：收集用户的语音信息，采用模板匹配语音识别算法将所述语音信息转为文字序列；其中所述模板匹配采用动态时间规整技术进行特征训练和识别，采用隐马尔可夫模型对语音信号的时间序列结构建立统计模型，采用矢量量化技术进行信号压缩；S2图像识别：获取真实环境中的大量初始图像，记为初始图像组；对所述初始图像组数据进行裁剪和归一化预处理，去除重影、模糊等质量较差的图像，选取质量合格的图像作为合格原始图像；所述合格原始图像中包含多个实体目标；S3提取图文特征：采用深度卷积神经网络对所述合格原始图像数据提取自然图像特征，所述自然图像特征包括但不限于目标特征、多目标定位、全局特征，分别对应于所述多个实体目标中每一个实体目标的主体特征、关系特征、全局位置特征；对所述文字序列提取第一目标特征，所述第一目标特征包括但不限于主体特征、关系特征、全局位置特征；S4图文匹配：将所述自然图像特征与所述第一目标特征进行匹配计算，其中分别对所述多个实体目标中每一个实体目标的主体特征、关系特征、全局位置特征，与所述第一目标特征的主体特征、关系特征、全局位置特征分别进行匹配度计算；所述匹配度计算得到的匹配结果为所述第一目标特征对所述合格原始图像中各实体目标的匹配程度，获取匹配度最大的所述实体目标在所述合格原始图像中的位置为所述图文匹配结果。

作为本发明的进一步改进，所述深度卷积神经网络由输入层、卷积层、激活函数、池化层、全连接层和输出层组成；所述卷积层采用二维卷积核在特征图中进行滑动卷积操作，用于深度特征提取；所述激活函数用于引入非线性因素，在训练过程中避免梯度消失；所述池化层于压缩数据和参数的数量，保留主要的特征同时减少参数和计算量；所述全连接层对特征进行降维，用于将分布式特征表示映射到样本标记空间。