[发明专利]用于多模态神经符号场景理解的系统和方法

权利要求书

1.一种用于图像处理的系统，包括：

第一传感器，被配置为捕获至少一个或多个图像；

第二传感器，被配置为捕获声音信息；

与第一传感器和第二传感器通信的处理器，其中所述处理器被编程为：

接收所述一个或多个图像和所述声音信息；

利用编码器提取与图像和声音信息相关联的一个或多个数据特征；

经由解码器向时空推理引擎输出元数据，其中利用解码器和所述一个或多个数据特征导出元数据；

利用时空推理引擎和元数据确定一个或多个场景；和

响应于所述一个或多个场景输出控制命令。

2.根据权利要求1所述的系统，其中，所述时间推理引擎与领域本体数据库通信，并且利用所述领域本体数据库来确定所述一个或多个场景。

3.根据权利要求2所述的系统，其中，所述领域本体数据库包括指示利用所述元数据的一个或多个场景的信息。

4.根据权利要求2所述的系统，其中，所述领域本体数据库存储在与所述处理器通信的远程服务器处。

5.根据权利要求1所述的系统，其中，所述系统包括被配置为捕获温度信息的第三传感器，并且所述处理器与第三传感器通信，并且接收温度信息并从温度信息提取相关联的一个或多个数据特征。

6.根据权利要求1所述的系统，其中，所述处理器进一步被编程为在输出元数据之前融合与图像和声音信息相关联的一个或多个数据特征。

7.根据权利要求1所述的系统，其中，所述处理器进一步被编程为将与图像和声音信息相关联的一个或多个数据特征分离地提取到多个解码器。

8.根据权利要求1所述的系统，其中，所述解码器与机器学习网络相关联。

9.一种用于图像处理的系统，包括：

第一传感器，被配置为捕获指示环境的第一信息集；

第二传感器，被配置为捕获指示环境的第二信息集；

与第一传感器和第二传感器通信的处理器，其中所述处理器被编程为：

接收指示环境的第一信息集和第二信息集；

利用编码器提取与图像和声音信息相关联的一个或多个数据特征；

经由解码器向时空推理引擎输出元数据，其中利用解码器和一个或多个数据特征导出元数据；

利用时空推理引擎和元数据确定一个或多个场景；和

响应于所述一个或多个场景输出控制命令。

10.根据权利要求9所述的系统，其中，第一信息集和第二信息集具有不同类型的数据。

11.根据权利要求9所述的系统，其中，第一传感器包括温度传感器、压力传感器、振动传感器、湿度传感器或二氧化碳传感器。

12.根据权利要求9所述的系统，其中，所述处理器进一步被编程为在利用所述编码器提取所述一个或多个数据特征之前，预处理指示环境的第一信息集和第二信息集。

13.根据权利要求9所述的系统，其中，所述系统包括融合模块，所述融合模块用于融合来自第一信息集和第二信息集的融合数据集。

14.根据权利要求13所述的系统，其中，元数据是从融合数据集提取的。