[发明专利]一种视频图像分析检索方法及系统

权利要求书

1.一种视频图像分析检索方法，其特征在于，该方法包括：

步骤1，建立图像类别-API接口-知识图谱之间的映射关系表，具体包括：

步骤1.1，基于预设的图像集合进行图像分类器训练，针对每一类图像建立对应API接口；

步骤1.2，在每个API接口中集成了每一类图像对应的知识图谱模型，以建立反映图像类别-API接口-知识图谱之间关系的映射表；

步骤2，确定当前视频图像的图像类别，根据所述映射关系表调用对应API接口，基于所述API接口中的知识图谱模型来进行图像匹配；

所述步骤1.1，基于预设的图像集合进行图像分类器训练，具体包括：

通过对所述预设的图像集合进行消噪、归一化和增强的预处理操作，以增强图像质量；

采用非下采样小波变换NSWT对增强后的图像进行细化处理，得到图像的高频分量特征和低频分量特征，并选择将所述低频分量特征作为第一特征向量；

采用增量PCA对增强后的图像进行特征提取，提取有效的图像分类特征，组成第二特征向量；

采用Swin Transformer层级网络对增强后的图像进行由浅入深的级联特征提取，得到高分辨率的底层特征和低分辨率的高层特征，在Swin Transformer层级网络的末端通道上添加注意力模块ECA和FFM融合模块，实现将所述高分辨率的底层特征和所述低分辨率的高层特征进行多尺度融合，得到第三特征向量；

将所述第一特征向量、所述第二特征向量和所述第三特征向量进行特征融合，将融合后的特征作为AlexNet模型的输入，通过专家对图像类别进行标记，作为AlexNet模型的输出，建立图像分类的训练样本集；

根据所述训练样本集对所述AlexNet模型进行迭代训练学习，构建用于图像分类的分类器;

在所述步骤2中，还包括：

将所述当前视频图像输入所述分类器得到对应的图像类别；

根据所述映射关系表调用图像类别对应的API接口，基于所述API接口中的知识图谱模型来进行图像相似度的计算匹配，完成视频图像的分析检索;

知识图谱模型中用于图像相关特征相似度计算的方法包括：余弦距离、均值哈希算法、差值哈希算法、感知哈希算法、直方图距离、SSIM结构相似度算法、欧氏距离和汉明距离。

2.根据权利要求1所述的方法，其特征在于，还包括：

所述图像类别具体分为城市、森林、山脉和沙漠；

所述API接口包括第一API接口、第二API接口、第三API接口和第四API接口；

所述知识图谱模型包括第一知识图谱模型、第二知识图谱模型、第三知识图谱模型和第四知识图谱模型；其中,所述第一知识图谱模型中进行图像匹配相似度计算的方法是余弦距离和均值哈希算法的融合算法；所述第二知识图谱模型中进行图像匹配相似度计算的方法是差值哈希算法和感知哈希算法的融合算法；所述第三知识图谱模型中进行图像匹配相似度计算的方法是直方图距离和SSIM结构相似度算法的融合算法；所述第四知识图谱模型中进行图像匹配相似度计算的方法是欧氏距离和汉明距离的融合算法；

所述映射关系表具体包括：反映城市-第一API接口-第一知识图谱模型关系的第一映射关系表、反映森林-第二API接口-第二知识图谱模型关系的第二映射关系表、反映山脉-第三API接口-第三知识图谱模型关系的第三映射关系表以及反映沙漠-第四API接口-第四知识图谱模型关系的第四映射关系表。