[发明专利]一种跨模态人工智能信息处理系统及检索方法

权利要求书

1.一种跨模态人工智能信息处理系统，其特征在于，包括：分隔模块，其被配置为对第一模态信息进分隔得到连续的多段第一模态信息片段；特征提取模块，其被配置为对每段第一模态信息片段表达的内容进行特征提取形成表征每段第一模态数据片段表达的内容中的事件及其关系的事件图谱；标识模块，其被配置为将事件图谱中的元素利用第二模态信息进行标识形成第二模态标识信息；第二编码模块，其被配置对第二模态标识信息进行编码形成第二模态信息数据；关联模块，其被配置为将第二模态信息数据与相应段的第一模态信息片段中的每帧数据进行关联生成关联标识；第一插入模块，其被配置为将关联标识的插入到第一模态数据帧中，而后存储于第一模态信息数据库中；第二插入模块，其被配置为关联标识的插入到第二模态数据帧中而后存储于第二模态信息数据库中。

2.根据权利要求1所述的跨模态人工智能信息处理系统，其特征在于，第一模态信息包括语音和/或者视频；第二模态信息包括文本。

3.根据权利要求2所述的跨模态人工智能信息处理系统，其特征在于，特征提取模块包括事件图谱建立模块和累加模块，所述事件图像建立模块被配置为根据第一模态信息源表达的内容建立事件图谱，累加模块被配置为累加连续相同事件图谱的时长；分隔模块还被配置为根据时长对第一模态信息进分隔得到连续的多段第一模态信息片段。

4.根据权利要求3所述的跨模态人工智能信息处理系统，其特征在于，还包括第一编码模块，所述第一编码模块用于对分隔后的第一模态信息片段进行编码生成第一模态信息数据。

5.根据权利要求1所述的跨模态人工智能信息处理系统，其特征在于，第一模态信息包括视频数据；第二模态信息包括文本。

6.根据权利要求5所述的跨模态人工智能信息处理系统，其特征在于，特征提取模块包括转换模块、人工智能模块、事件图谱建立模块和累加模块，其中，转换模块将第一模态信息数据转换成二维图像；人工智能模块被配置为识别每帧二维图像的特征值，所特征值包括前景图像特征值、背景图像特征值；事件图谱建立模块，其被配置为根据每帧图像的前景图像特征值表征图元的关系及前景图像特征值表征的图元与背景图像特征值表征的图元的关系建立事件图谱；累加模块被配置为累加连续相同事件图谱的时长；分配模块还根据被配置为根据时长对第一模态信息进分隔得到连续的多段第一模态信息片段。

7.一种利用权利要求1-7任一所述系统进行跨模态信息检索方法，其特征在于，包括如下步骤：

根据输入的第二模态信息在第二模态信息数据库中查找对应的第二模态数据；提取第二模态数据的关联头；根据关联头从第一模态信息数据库中检索第一模态信息数据帧，利用第一模态信息数据帧再现第一模态信息。