[发明专利]用于图形推理题图像检索的方法、装置、存储介质和设备

说明书

本方案公开了一种用于图形推理题图像检索的方法，包括对获取得到的目标图像进行特征提取，获得多个图形的轮廓特征信息；将所述多个图形的轮廓特征信息作为检索特征信息，遍历图形推理题图像数据库，获得与所述检索特征信息相匹配的待选择图像集合；基于每个图形与待选择图像集合中全部图形轮廓的轮廓相似度；根据每个图形轮廓在目标图像中轮廓权重值及每个图形轮廓在目标图像中的位置和每个图形轮廓在待选择图像中的位置之间的关系获得位置匹配权重值，对轮廓相似度进行加权平均，获得目标图像与每个待选择图像的匹配得分，从而对待选择图像进行排序输出。本方案的方法可以令考生更好的复习图形推理类的题目，提高他们备考的效率，提高就业机会。

技术领域

本发明涉及图像识别技术领域，特别涉及一种用于图形推理题图像检索的方法、装置、存储介质和设备。

背景技术

目前市面上很多教育类的APP及装置都具有拍照搜题的功能，拍照搜题这一算法和装置的普及极大的提高了学生的学习效率，降低了老师们备课的难点，降低了家长们检查作业的成本。但目前这些装置的拍照搜题的算法大多只支持纯文字类题目的检索，其核心算法是利用光学字符识别(OCR)识别出题目图像中的文字，并根据识别结果生成文本格式的题目，从而在服务器后台的题库中匹配到该题目，获取到该题目的答案，以呈现给用户。而在行政职业能力测试、职业能力倾向测验和一些公司的笔试中有一种非常重要的题型，图形推理。如图1所示，这种题型没有文本信息，题干和选项都是一些非常相近的图形。由于图形推理题的文字特征不明显，很难通过文字搜索来查找，因此这类题很难通过传统的拍照搜题算法找到答案，因此针对这类题目急需找到一种新的算法来实现拍照搜题的功能。

发明内容

本方案的一个目的在于提供一种用于图形推理题图像检索的方法、方法，本方案的方法可以令考生更好的复习图形推理类的题目，提高他们备考的效率，提高就业机会。

本方案的另一个目的在于提供一种执行上述方法的装置和设备。

为达到上述目的，本方案如下：

一种用于图形推理题图像检索的方法，该方法包括如下步骤：

对获取得到的目标图像进行特征提取，获得多个图形的轮廓特征信息；

将所述多个图形的轮廓特征信息作为检索特征信息，遍历图形推理题图像数据库，获得与所述检索特征信息相匹配的待选择图像集合；

基于每个图形的轮廓特征信息，获取每个图形轮廓与所述待选择图像集合中全部图形轮廓的轮廓相似度；

根据每个图形轮廓在目标图像中的特定信息，计算每个图形轮廓的轮廓权重值；

根据每个图形轮廓在目标图像中的位置信息和每个图形轮廓在待选择图像中的位置信息之间的关系，计算每个图形轮廓的位置信息匹配权重值；

根据每个图形的所述轮廓权重值和位置信息匹配权重值对所述轮廓相似度进行加权平均值计算，获得目标图像与每个待选择图像的匹配得分，并根据匹配得分，获得待选择图像的排序结果。

在一个优选的实施例中，所述对获取得到的目标图像进行特征提取，获得多个图形的轮廓特征信息之前还包括：

对获取的含有目标图像的图片进行滤波、二值化处理和边缘检测，得到全部图形的边缘信息；

基于所述边缘信息获得全部图形的轮廓信息；

过滤所述轮廓信息获得所述目标图像中多个图形的轮廓信息。

在一个优选的实施例中，所述基于所述边缘信息获得全部图形的轮廓信息包括：

对获得的边缘信息进行开闭运算以使得不连续的边缘可以连接起来；

基于OpenCV中的拓扑轮廓算法，获得全部图形的轮廓信息。