[发明专利]基于多模态感知的环境状态判别方法及系统

权利要求书

1.一种基于多模态感知的环境状态判别方法，其特征在于，包括：

获取智能机器人于当前环境下，多个模态对应的模态信息；

提取每种该模态信息的特征向量；

将所有该特征向量进行特征融合，生成多模融合隐变量；

通过该多模融合隐向量进行谓词映射，得到当前环境的环境状态表示。

2.如权利要求1所述的环境状态判别方法，其特征在于，以卷积神经网络构建各模态信息对应的模态编码器，并为每个该模态编码器添加模态内注意力机制，通过该模态编码器提取对应模态信息的特征向量；该模态内注意力机制包括空间注意力机制和时间注意力机制。

3.如权利要求1所述的环境状态判别方法，其特征在于，通过多模态机器学习将所有该特征向量进行特征融合，生成该多模融合隐变量。

4.如权利要求1所述的环境状态判别方法，其特征在于，进行谓词映射的过程中，通过三元逻辑形式化谓词作为全局-局部机制，使用具有交叉熵损失的多类分类模型预测每个谓词的真值；将该多模融合隐向量通过有监督训练的方式进行谓词映射，得到该环境状态表示。

5.一种基于多模态感知的环境状态判别系统，其特征在于，包括：

信息获取模块，用于获取智能机器人于当前环境下，多个模态对应的模态信息；

特征提取模块，用于提取每种该模态信息的特征向量；

特征融合模块，用于将所有该特征向量进行特征融合，生成多模融合隐变量；

谓词预测模块，用于通过该多模融合隐向量进行谓词映射，得到当前环境的状态表示。

6.如权利要求5所述的环境状态判别系统，其特征在于，于该特征提取模块中，以卷积神经网络构建各模态信息对应的模态编码器，并为每个该模态编码器添加模态内注意力机制，通过该模态编码器提取对应模态信息的特征向量；该模态内注意力机制包括空间注意力机制和时间注意力机制。

7.如权利要求5所述的环境状态判别系统，其特征在于，于该特征融合模块中，通过多模态机器学习将所有该特征向量进行特征融合，生成该多模融合隐变量。

8.如权利要求5所述的环境状态判别系统，其特征在于，于该谓词预测模块中，通过三元逻辑形式化谓词作为全局-局部机制，使用具有交叉熵损失的多类分类模型预测每个谓词的真值；将该多模融合隐向量通过有监督训练的方式进行谓词映射，得到该环境状态表示。

9.一种计算机可读存储介质，存储有计算机可执行指令，其特征在于，当该计算机可执行指令被执行时，实现如权利要求1～4任一项所述的基于多模态感知的环境状态判别方法。

10.一种数据处理装置，包括如权利要求9所述的计算机可读存储介质，当该数据处理装置的处理器调取并执行该计算机可读存储介质中的计算机可执行指令时，执行基于多模态感知的环境状态判别。