[发明专利]基于人工智能的视觉对话方法、装置及电子设备

权利要求书

1.一种基于人工智能的视觉对话方法，其特征在于，包括：

获取与图片对应的对话问题及对话历史；

将所述图片和所述对话历史中的至少一个确定为通道信息；

根据所述对话问题和所述通道信息，进行追踪处理和定位处理中的至少一种处理，得到对应的通道特征；

根据所述通道特征，将所述图片、所述对话问题和所述对话历史进行融合处理，得到融合特征；

根据所述融合特征进行预测处理，得到所述对话问题对应的对话答案。

2.根据权利要求1所述的视觉对话方法，其特征在于，所述根据所述对话问题和所述通道信息，进行追踪处理和定位处理中的至少一种处理，得到对应的通道特征，包括：

执行以下任意一种处理：

根据所述对话问题和所述通道信息进行单通道的追踪处理，得到视觉通道特征；

根据所述对话问题和所述通道信息进行单通道的定位处理，得到对话历史通道特征；

根据所述对话问题和所述通道信息进行双通道的追踪处理，得到视觉通道特征，根据所述对话问题和所述通道信息进行双通道的定位处理，得到对话历史通道特征，并

对所述视觉通道特征和所述对话历史通道特征进行多模态融合处理，得到多模态通道特征。

3.根据权利要求2所述的视觉对话方法，其特征在于，所述根据所述对话问题和所述通道信息进行双通道的追踪处理，得到视觉通道特征，包括：

执行以下任意一种处理：

根据所述对话问题和所述通道信息进行一次追踪处理，得到视觉通道特征；

根据所述对话问题和所述通道信息进行至少两次追踪处理，且相邻的两次追踪处理之间包括定位处理，以得到视觉通道特征；

所述根据所述对话问题和所述通道信息进行双通道的定位处理，得到对话历史通道特征，包括：

执行以下任意一种处理：

根据所述对话问题和所述通道信息进行一次定位处理，得到对话历史通道特征；

根据所述对话问题和所述通道信息进行至少两次定位处理，且相邻的两次定位处理之间包括追踪处理，以得到对话历史通道特征。

4.根据权利要求3所述的视觉对话方法，其特征在于，所述根据所述对话问题和所述通道信息进行至少两次追踪处理，且相邻的两次追踪处理之间包括定位处理，以得到视觉通道特征，包括：

根据所述对话问题对应的问题特征和所述图片对应的图片特征，进行追踪处理得到第n个更新问题特征；

根据所述第n个更新问题特征和所述对话历史对应的对话历史特征，进行定位处理得到第n+1个更新问题特征；

迭代n的取值直至得到第N个更新问题特征，并将所述第N个更新问题特征确定为视觉通道特征；

其中，所述n的取值依次为1，……N，N为大于1的整数。

5.根据权利要求3所述的视觉对话方法，其特征在于，所述根据所述对话问题和所述通道信息进行至少两次定位处理，且相邻的两次定位处理之间包括追踪处理，以得到对话历史通道特征，包括：

根据所述对话问题对应的问题特征和所述对话历史对应的对话历史特征，进行定位处理得到第m个更新问题特征；

根据所述第m个更新问题特征和所述图片对应的图片特征，进行追踪处理得到第m+1个更新问题特征；

迭代m的取值直至得到第M个更新问题特征，并将所述第M个更新问题特征确定为对话历史通道特征；

其中，所述m的取值依次为1，……M，M为大于1的整数。

6.根据权利要求2所述的视觉对话方法，其特征在于，所述对所述视觉通道特征和所述对话历史通道特征进行多模态融合处理，得到多模态通道特征，包括：

对所述对话问题对应的问题特征和所述视觉通道特征进行增强处理，得到第一注意力权重；

对所述对话问题对应的问题特征和所述对话历史通道特征进行增强处理，得到第二注意力权重；

将所述第一注意力权重与所述第二注意力权重进行拼接处理，并对拼接处理的结果进行激活处理，得到多模态通道特征。