[发明专利]用于图形推理题图像检索的方法、装置、存储介质和设备

权利要求书

1.一种用于图形推理题图像检索的方法，其特征在于，该方法包括：

对获取得到的目标图像进行特征提取，获得多个图形的轮廓特征信息；

将所述多个图形的轮廓特征信息作为检索特征信息，遍历图形推理题图像数据库，获得与所述检索特征信息相匹配的待选择图像集合；

基于每个图形的轮廓特征信息，获取每个图形轮廓与所述待选择图像集合中全部图形轮廓的轮廓相似度；

根据每个图形轮廓在目标图像中的特定信息，计算每个图形轮廓的轮廓权重值；

根据每个图形轮廓在目标图像中的位置信息和每个图形轮廓在待选择图像中的位置信息之间的关系，计算每个图形轮廓的位置信息匹配权重值；

根据每个图形的所述轮廓权重值和位置信息匹配权重值对所述轮廓相似度进行加权平均值计算，获得目标图像与每个待选择图像的匹配得分，并根据匹配得分，获得待选择图像的排序结果。

2.根据权利要求1所述的方法，其特征在于，所述对获取得到的目标图像进行特征提取，获得多个图形的轮廓特征信息之前还包括：

对获取的含有目标图像的图片进行滤波、二值化处理和边缘检测，得到全部图形的边缘信息；

基于所述边缘信息获得全部图形的轮廓信息；

过滤所述轮廓信息获得所述目标图像中多个图形的轮廓信息。

3.根据权利要求2所述的方法，其特征在于，所述基于所述边缘信息获得全部图形的轮廓信息包括：

对获得的边缘信息进行开闭运算以使得不连续的边缘可以连接起来；

基于OpenCV中的拓扑轮廓算法，获得全部图形的轮廓信息。

4.根据权利要求2所述的方法，其特征在于，所述过滤所述轮廓信息获得所述目标图像中多个图形的轮廓信息包括：

基于每个图形的轮廓周长，轮廓面积，轮廓的外接矩形的面积，轮廓的重心，轮廓的二阶矩与预设条件的比较和轮廓的层级关系对所述全部图形的轮廓进行过滤获得所述目标图像中多个图形的轮廓信息。

5.根据权利要求1所述的方法，其特征在于，所述对获取得到的目标图像进行特征提取，获得多个图形的轮廓特征信息包括：

基于ImageNet进行预训练的VGG16网络模型分别提取所述目标图像中每个图形轮廓的第一特征；和

基于SIFT算法，提取所述目标图像中每个图形轮廓的第二特征。

6.根据权利要求5所述的方法，其特征在于，将所述多个图形的轮廓特征信息作为检索特征信息，遍历图形推理题图像数据库，获得与所述检索特征信息相匹配的待选择图像集合包括：

基于每个图形的第一特征遍历图形推理题图像数据库，获得每个图形与数据库中全部图形比较的cos相似度，作为第一cos相似度；

基于每个图形的第二特征遍历图形推理题图像数据库，获得每个图形与数据库中全部图形比较的cos相似度，作为第二cos相似度；

基于预设的VGG16权重和SIFT权重，分别对每个图形的第一cos相似度和第二cos相似度加权、求平均，得出该图形的cos相似度；

基于预设的阈值和每个图形的cos相似度，对图形推理题图像数据库中的图像进行匹配获得待选择图像集合。

7.根据权利要求5所述的方法，其特征在于，基于每个图形的轮廓特征信息，获取每个图形轮廓与所述待选择图像集合中全部图形轮廓的轮廓相似度包括：

基于每个图形的第一特征遍历待选择图像集合中的全部图形，获得每个图形与待选择图像集合中全部图形比较的cos相似度，作为第一cos相似度；

基于每个图形的第二特征遍历待选择图像集合中的全部图形，获得每个图形与待选择图像集合中全部图形比较的cos相似度，作为第二cos相似度；

基于预设的VGG16权重和SIFT权重，分别对每个图形的第一cos相似度和第二cos相似度加权、求平均，得出该图形的轮廓相似度。