[发明专利]一种面向多类型海洋数据的跨模态检索方法及系统

说明书

本发明公开了一种面向多类型海洋数据的跨模态检索方法及系统，包括：对多个不同类型的海洋源数据进行预处理，以获取处理数据；对第一GAN网络模型进行优化，以确定最优权重对应的第一最优GAN网络模型；对第二GAN网络模型进行优化，以确定第二最优GAN网络模型；利用第一最优GAN网络模型和第二最优GAN网络模型对获取的海洋待检索数据进行处理，以获取所述海洋待检索数据对应的最优检索结果。本发明将人工智能的图像技术和文本技术进行有效的结合，能够深度挖掘文本与图像特征之间的联系，实现了基于文字的图像生成与检索功能和基于图像的文本生成与检索功能，实现了不同模态数据的跨模态检索，建立了高性能、高效率的面向海洋多类型数据的跨模态检索系统。

技术领域

本发明涉及计量校准领域，并且更具体地，涉及一种面向多类型海洋数据的跨模态检索方法及系统。

背景技术

随着海洋信息技术的发展以及国内以高速网络、物联网、云计算、人工智能等新一代技术为核心的“数字海洋”、“智慧海洋”国家战略的提出，海洋数据量呈现爆炸性的增长，包括来自船只(商业、海军、研究)的测量或观测数据，系泊浮标和漂浮浮标数据，海岸站点数据以及其他海岸台站数据，海洋数据格式多样化，同时数据量不断累计增加，但如何有效利用多维、海量以及实时监测的海洋数据获取海洋专业的信息，是挖掘海洋大数据潜在价值的关键。因此，海洋大数据跨模态检索具有重要意义。

用户对海洋大数据跨模态检索的需求主要体现在三方面：(1)给一段海洋文字描述检索匹配的图像，因此，对检索的图像内容无疑成为用户关注的重点；(2)给一幅海洋图片检索匹配的文字描述，因此，对检索的文字描述内容无疑成为用户关注的重点；(3)由于每个人对文字和图片的认知不同，需要对检索目标脑补预期的结果，以此来体现出该发明的智慧。

人工智能是研究计算机来模拟人的某些思维过程和智能行为，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，从人工智能诞生以来，应用领域不断扩大，实现了图像的修复、语音识别、文字翻译的功能。

因此，需要一种将人工智能的图像技术和文本技术进行有效的结合，以实现面向海洋多类型数据的跨模太检索的方法。

发明内容

本发明提出一种面向多类型海洋数据的跨模态检索方法及系统，以解决如何实现跨模态数据的检索问题。

为了解决上述问题，根据本发明的一个方面，提供了一种面向多类型海洋数据的跨模态检索方法，所述方法包括：

对多个不同类型的海洋源数据进行预处理，以获取每个海洋源数据对应的处理数据；其中，所述类型包括：图像类型和文本类型；

根据每层网络的当前的权重确定当前的第一GAN网络模型，在当前的第一GAN网络模型中根据每个海洋源数据的类型确定每个处理数据对应的编码器和解码器，并依次进行编码和解码处理，以获取每个海洋源数据对应的解析描述数据；

利用当前的第一GAN网络模型，计算每个海洋源数据对应的解析描述数据与对应的真实描述数据之间的损失函数，并根据所述损失函数按照预设的优化策略对所述第一GAN网络中每层网络对应的权重进行优化，以确定最优权重对应的第一最优GAN网络模型；

将利用所述第一最优GAN网络模型生成的每个海洋源数据对应的描述解析数据输入至第二GAN网络模型，并对所述第二GAN网络模型进行优化，以确定第二最优GAN网络模型；

利用所述第一最优GAN网络模型和第二最优GAN网络模型对获取的海洋待检索数据进行处理，以获取所述海洋待检索数据对应的最优检索结果。

优选地，其中所述对多个不同类型的海洋源数据进行预处理，以获取每个海洋源数据对应的处理数据，包括：

对每个图像类型的海洋源数据进行归一化处理，以获取每个图像类型的海洋源数据对应的处理数据；