[发明专利]一种基于文字提取的图像匹配方法

说明书

本发明请求保护一种基于文字提取的图像匹配方法，生成模板图片，作为匹配的样本图片；得到稳定的局部区域，至少包括关键点和相关信息，包括尺度和角度信息；完成数据加载、模型搭建、模型训练和选择、模型评价，经过算子的描述就得到局部特征不变量；建立已有的标注好的数据集和无标注数据集的关系，对无标签数据进行多角度描述，增加标签多样性。无需对图像中的文字进行倾斜矫正、尺度缩放、位置平移等处理，减少了很多人工处理等工作，标签平滑损失更好的加快了目标域模型的收敛，并且提高了重识别模型的准确率，训练好的重识别模型对现实中的各种场景都有更好的泛化能力。

技术领域

本申请属于图像处理领域，具体的，涉及一种基于文字提取的图像匹配方法。

背景技术

基于内容的图像检索技术飞速发展，根据图像、图像的内容语义以及上下文联系进行查找，以图像语义特征为线索从图像数据库中检索出具有相似特性的其它图像。其中图像的特征提取也是各式各样，发展众多。以 2004 年 David Lowe完善的 SIFT 为代表，局部特征不变量成为特征提取的热点，主要在于其对仿射变化，复杂背景，噪声等的鲁棒性是以前传统特征提取算法所不能比拟的。这就给文字识别技术提供了启示，其一为系统框架，不仅仅依靠 OCR 系统，而是利用图像匹配进行文字识别，更形象得说应该是对文字进行匹配。其二是文字的特征提取，也不再是利用统计或者结构特征，而是运用局部特征不变量进行替代，提取文字特征。

虽然在智能交通领域中广泛使用车牌作为车身的唯一标识，但是在实际监控环境下，由于摄像头拍摄角度、车牌遮挡、图片分辨率、套牌车等原因使得车牌识别难以发挥实质性的作用。所以，除了使用车牌信息，车身外观的文字特征也作为了车身匹配的重要依据。但是由于车身本身固有的属性限制，如属于同一款车型的车身外观极为相似，无法准确地从同一类车身中定位某一辆车。此外，由于姿态、光照等因素，相同车身的外观特征在不同摄像头下的差异也较大，这无疑增加了车身重识别任务的难度。因此，如何训练有效的适应性强的车身重识别模型是一项重要的挑战。

发明内容

为解决当前交通环境下车牌和车身文字的识别问题，本发明请求保护一种基于文字提取的图像匹配方法，其特征在于，包括：

生成模板图片，作为匹配的样本图片；

得到一些稳定的局部区域，至少包括关键点和相关信息，包括尺度和角度信息；

完成数据加载、模型搭建、模型训练和选择、模型评价，经过算子的描述就得到局部特征不变量，即特征向量；

采用训练主题模型得到文本的主题模型向量表示，把模板文字图像提取的特征向量通过一定的方法建立索引，后面数据的查询具有层次性，优化存储的结构，便于查询；

输入待查询的文字图像的特征向量和已经建立好的模板特征索引库来得到符合相似衡量；

建立已有的标注好的数据集和无标注数据集的关系，对无标签数据进行多角度描述，增加标签多样性。

本发明不同层次上的特征融合(全局特征和局部特征)方法使得特征表达更加全面，并有利于模型提取高层次上的文本语义信息，并将该特征提取模型与基于机器学习的传统多标签文本分类方法进行集成，可以获得更好的分类效果；采用局部特征不变量作为文字的表述，这样不同于 OCR 系统，无需对文字进行前期增强处理；无需对图像中的文字进行倾斜矫正、尺度缩放、位置平移等处理，减少了很多人工处理等工作，标签平滑损失更好的加快了目标域模型的收敛，并且提高了重识别模型的准确率，训练好的重识别模型对现实中的各种场景都有更好的泛化能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所涉及的一种基于文字提取的图像匹配方法的工作流程图。

具体实施方式