[发明专利]基于图像的问答处理方法和装置、电子设备及存储介质

说明书

本公开涉及一种基于图像的问答处理方法和装置、电子设备及存储介质，所述方法包括：获取目标图像的图像特征，以及获取目标问题的问题特征；基于所述问题特征确定动态卷积核，并基于所述动态卷积核对所述图像特征执行卷积操作获得融合特征；基于所述融合特征确定所述目标图像中针对所述目标问题的答案。本公开实施例可以提高答案的预测精度。

技术领域

本公开实施例涉及计算机视觉领域，特别涉及一种基于图像的问答处理方法和装置、电子设备及存储介质。

背景技术

图像识别技术可以应用到各个领域中，例如可以结合计算机视觉和语言分析来实现图像标注、语言搜图以及视觉问答等。其中视觉问答是指在给定一张图片和与之相关的问题的情况下，视觉问答系统能够确的给出答案文本。

在处理视觉问答任务的现有研究中，首先需要双线性池化方法得到这图像特征和问题特征的融合特征，基于该融合特征最后预测最终的答案。但是目前的特征融合过程在视觉问答模型的较后阶段执行，不能有效的利用图片特征和问题特征。

发明内容

本公开实施例提出了一种能够有效的利用图像特征和问题特征并提高识别精度基于图像的问答处理方法和装置、电子设备及存储介质。

根据本公开实施例的第一方面，提供了一种基于图像的问答处理方法，其包括：

获取目标图像的图像特征，以及获取目标问题的问题特征，其中所述目标问题为针对所述目标图像的问题；

基于所述问题特征确定动态卷积核，并基于所述动态卷积核对所述图像特征执行卷积操作获得融合特征；

基于所述融合特征确定所述目标图像中针对所述目标问题的答案。

在本公开实施例中，所述基于所述动态卷积核对所述图像特征执行卷积操作获得融合特征包括：

将所述动态卷积核分别输入至N个卷积模组，其中各卷积模组依次顺序连接构成直线型连接结构，其中N为大于1的整数；

通过所述直线型连接结构中的第一个卷积模组基于所述动态卷积核执行所述图像特征的卷积操作，得到第一输出结果；

通过所述直线型连接结构中的第i个卷积模组基于所述动态卷积核执行第i-1个卷积模组的输出结果的卷积操作，并通过第N个卷积模组获得所述融合特征，其中i为大于1且小于或者等于N的整数。

在本公开实施例中，各所述卷积模组包括至少一个卷积单元组，其中，通过各所述卷积模组执行卷积操作包括：

将输入至卷积模组的输入数据划分成至少一组特征子数据，所述特征子数据的组数与所述卷积单元组的组数对应，并且所述输入数据包括所述图像特征或者包括该卷积模组的前一个卷积模组的输出结果；

将各组特征子数据分别对应地分配给各卷积单元组，且将动态卷积核分配给至少一个卷积单元组，该被分配动态卷积核的至少一个卷积单元组以外的各卷积单元组被分配预设卷积核；

通过各卷积单元组基于分配的动态卷积核或者预设卷积核对输入的特征子数据执行卷积操作。

在本公开实施例中，所述通过各卷积单元组基于分配的动态卷积核或者预设卷积核对输入的特征子数据执行卷积操作包括：

从利用动态卷积核执行卷积操作的卷积单元组获得的第一特征数据中选择出第一部分数据，所述第一特征数据为利用所述动态卷积核执行卷积操作的卷积单元生成的数据；

将利用预设卷积核执行卷积操作的卷积单元组获得的第二特征数据的第二部分数据替换成所述第一部分数据，获得第三特征数据；

基于所述第一特征数据和第三特征数据得到对应卷积模组的输出结果。