[发明专利]多模态信息库的检索方法、管理方法、装置、设备和介质

说明书

本公开提供了一种用于多模态信息库的检索方法、管理方法，涉及人工智能技术领域，尤其涉及计算机视觉和深度学习技术领域，可应用于图像识别和图像搜索等场景下。实现方案为：响应于接收到包括第一模态信息的检索信息，使用第一多模态特征提取模块，从检索信息的第一模态信息中提取检索信息的第一模态特征；基于检索信息的第一模态特征与多条目标信息中的每条目标信息的第一模态特征和第二模态特征中的每一个的相似度，选择多条目标信息中的第一组目标信息；以及基于第一组目标信息，生成检索结果。

技术领域

本公开涉及人工智能技术领域，尤其涉及计算机视觉和深度学习技术领域，可应用于图像识别和图像搜索等场景下，具体涉及一种用于多模态信息库的检索方法、管理方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术:人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

传统的检索信息库难以解决检索信息库中的目标信息图文不符的问题。

在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

发明内容

本公开提供了一种用于多模态信息库的检索方法、管理方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

根据本公开的一方面，提供了一种用于多模态信息库的检索方法，其中，多模态信息库包括多条目标信息，每条目标信息包括第一模态信息和第二模态信息，该方法包括：响应于接收到包括第一模态信息的检索信息，使用第一多模态特征提取模块，从检索信息的第一模态信息中提取检索信息的第一模态特征；基于检索信息的第一模态特征与多条目标信息中的每条目标信息的第一模态特征和第二模态特征中的每一个的相似度，选择多条目标信息中的第一组目标信息，其中，每条目标信息的第一模态特征为使用第一多模态特征提取模块从该目标信息的第一模态信息中提取的，每条目标信息的第二模态特征为使用第二多模态特征提取模块从该目标信息的第二模态信息中提取的；以及基于第一组目标信息，生成检索结果。

根据本公开的另一方面，提供了一种用于多模态信息库的管理方法，该方法包括：响应于接收到包括第一模态信息和第二模态信息的入库信息，使用第一多模态特征提取模块，从入库信息的第一模态信息中提取入库信息的第一模态特征，并且，使用第二多模态特征提取模块，从入库信息的第二模态信息中提取入库信息的第二模态特征；基于入库信息的第一模态特征和第二模态特征，计算入库信息的多模态特征；基于入库信息的第一模态特征、第二模态特征和多模态特征，生成多模态信息库中对应于入库信息的一个或多个检索对象；以及响应于接收到检索信息，执行根据如本公开所述的检索方法。

根据本公开的另一方面，提供了一种用于多模态信息库的检索装置，其中，多模态信息库包括多个包括第一模态信息和第二模态信息的目标信息，该装置包括：检索特征提取模块，被配置为：响应于接收到包括第一模态信息的检索信息，使用第一多模态特征提取模块，从检索信息的第一模态信息中提取检索信息的第一模态特征；目标匹配模块，被配置为：基于检索信息的第一模态特征与多条目标信息中的每条目标信息的第一模态特征和第二模态特征中的每一个的相似度，选择多条目标信息中的第一组目标信息，其中，每条目标信息的第一模态特征为使用第一多模态特征提取模块从该目标信息的第一模态信息中提取的，每条目标信息的第二模态特征为使用第二多模态特征提取模块从该目标信息的第二模态信息中提取的；以及检索结果生成模块，被配置为：基于第一组目标信息，生成检索结果。