[发明专利]一种跨模态人工智能信息处理系统及检索方法

说明书

一种跨模态人工智能信息处理系统及跨模态信息检索方法。系统包括：分隔模块，其被配置为对第一模态信息进分隔得到连续的多段第一模态信息片段；特征提取模块，其被配置为对每段第一模态信息片段表达的内容进行特征提取形成事件图谱；标识模块，其被配置为将事件图谱中的元素利用第二模态信息进行标识形成第二模态标识信息；第二编码模块，其被配置对第二模态标识信息进行编码形成第二模态信息数据；关联模块，其被配置为将第二模态信息数据与相应段的第一模态信息片段中的每帧数据进行关联生成关联标识；第一插入模块，其被配置为将关联标识的插入到第一模态数据帧中；第二插入模块，其被配置为关联标识的插入到第二模态数据帧中。

技术领域

本发明涉及一种跨模态人工智能信息处理系统及检索方法，属于人工智能技术领域。

背景技术

现有技术中，对文本信息可通过关键词进行全文检索，而对音频/视频信息而言，想在一定时间长度音频时间段和视频时间段中查寻关注的信息却无能为力。

发明内容

本发明的发明目的是提供一种跨模态人工智能信息处理系统及检索方法，能够快速进行跨模态信息检索并再现。

为实现所述发明目的，本发明提供一种跨模态人工智能信息处理系统，其特征在于，包括：分隔模块，其被配置为对第一模态信息进分隔得到连续的多段第一模态信息片段；特征提取模块，其被配置为对每段第一模态信息片段表达的内容进行特征提取形成表征每段第一模态数据片段表达的内容中的事件及其关系的事件图谱；标识模块，其被配置为将事件图谱中的元素利用第二模态信息进行标识形成第二模态标识信息；第二编码模块，其被配置对第二模态标识信息进行编码形成第二模态信息数据；关联模块，其被配置为将第二模态信息数据与相应段的第一模态信息片段中的每帧数据进行关联生成关联标识；第一插入模块，其被配置为将关联标识的插入到第一模态数据帧中，而后存储于第一模态信息数据库中；第二插入模块，其被配置为关联标识的插入到第二模态数据帧中而后存储于第二模态信息数据库中。

优选地，第一模态信息包括语音和/或者视频；第二模态信息包括文本。

优选地，特征提取模块包括事件图谱建立模块和累加模块，所述事件图像建立模块被配置为根据第一模态信息源表达的内容建立事件图谱，累加模块被配置为累加连续相同事件图谱的时长；分隔模块还被配置为根据时长对第一模态信息进分隔得到连续的多段第一模态信息片段。

优选地，跨模态人工智能信息处理系统还包括第一编码模块，所述第一编码模块用于对分隔后的第一模态信息片段进行编码生成第一模态信息数据。

优选地，第一模态信息包括视频数据；第二模态信息包括文本。

优选地，特征提取模块包括转换模块、人工智能模块、事件图谱建立模块和累加模块，其中，转换模块将第一模态信息数据转换成二维图像；人工智能模块被配置为识别每帧二维图像的特征值，所特征值包括前景图像特征值、背景图像特征值；事件图谱建立模块，其被配置为根据每帧图像的前景图像特征值表征图元的关系及前景图像特征值表征的图元与背景图像特征值表征的图元的关系建立事件图谱；累加模块被配置为累加连续相同事件图谱的时长；分配模块还根据被配置为根据时长对第一模态信息进分隔得到连续的多段第一模态信息片段。

为实现所述发明目的，本发明还提供一种利用权利上述系统进行跨模态信息检索方法，其特征在于，包括如下步骤：根据输入的第二模态信息在第二模态信息数据库中查找对应的第二模态数据；提取第二模态数据的关联头；根据关联头从第一模态信息数据库中检索第一模态信息数据帧，利用第一模态信息数据帧再现第一模态信息。

与现有技术相比，本发明的发明目的是提供一种跨模态人工智能信息处理系统及检索方法，能够快速进行跨模态信息检索。

附图说明

图1是本发明第一实施例提供的跨模态人工智能信息处理系统的组成框图；

图2是表示将第一模态信息分隔成多个信息片段的示意图；