[发明专利]一种基于孪生卷积神经网络的手机拍摄文本图像匹配方法在审
申请号: | 202010576688.3 | 申请日: | 2020-06-22 |
公开(公告)号: | CN111967488A | 公开(公告)日: | 2020-11-20 |
发明(设计)人: | 刘丽;胡煜鑫;邱桃荣 | 申请(专利权)人: | 南昌大学 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 南昌金轩知识产权代理有限公司 36129 | 代理人: | 李楠 |
地址: | 330000 江西省*** | 国省代码: | 江西;36 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 孪生 卷积 神经网络 手机 拍摄 文本 图像 匹配 方法 | ||
本发明公开了一种基于孪生卷积神经网络的手机拍摄文本图像匹配方法。主要包括:图像特征提取与图像相似度计算。本发明训练一个孪生卷积神经网络用于提取手机拍摄文本图像特征,该网络有两个分支,每个分支由GhostNet构成,两个分支共享权重。训练时每次输入网络两个文本图像,每个图像经过一个分支,采用对比损失作为网络的损失函数。通过提高训练样本的多样性使得提取的图像特征对上述手机拍摄图像存在的光照不均匀、失焦以及投影变换等问题具有良好的鲁棒性。接下来,任给一个文本图像,将其输入训练好的孪生卷积神经网络的任意一个分支中,令GhostNet的最后一层输出作为该图像的特征。为了获得两个图像的相似度,采用欧式距离进行计算。
技术领域
本发明属于图像处理领域,特别涉及一种基于孪生卷积神经网络的手机拍摄文本图像匹配方法。
背景技术
随着智能手机的普及,人们经常对现实物理世界中感兴趣的文本拍照,并且利用该图像在因特网或者数字图书馆中进一步查找和该图像相关的信息,因此急需一种有效的手机拍摄文本图像匹配方法。
手机拍摄图像容易受到光照不均匀、失焦模糊等因素影响,另一方面,由于拍摄角度不同,手机拍摄图像一般具有比较严重的投影变换,给后续的匹配带来很大的挑战。传统手机拍摄文本图像匹配方法首先将图像中的一个个词分割出来,接下来利用词之间的空间位置关系来描述图像,并将一个图像用多个特征向量表示出来。然而,文本图像中的词分割本身就是一个难题,由于手机拍摄文本图像的质量一般比较差,经常导致过分割或者多个词粘连,给后续匹配带来负面影响。
为了解决该问题,本发明提出一种基于孪生卷积神经网络的手机拍摄文本图像匹配方法,训练一个孪生卷积神经网络用于提取图像特征,通过提高训练集中正负样本的多样性,使得提取的特征对上述图像光照不均匀、失焦以及投影变换等问题具有较强的鲁棒性,有效地避免了传统方法中由于分割文本图像中的词所带来的问题。
发明内容
本发明提出了一种基于孪生卷积神经网络的手机拍摄文本图像匹配方法,包括如下步骤:
训练一个孪生卷积神经网络用于提取图像特征,该网络有两个分支,每个分支由GhostNet构成,两个分支共享权重。训练时,每次输入网络两个文本图像,每个图像经过一个分支,采用对比损失作为网络的损失函数。
为了提取对手机拍摄文本图像所存在的光照不均匀、失焦模糊以及投影变换等问题具有良好鲁棒性的特征,提高了训练集中样本的多样性。具体来说,构成正样本的两个图像来自同一个文本,其中一个图像用手机拍摄得到,另一个图像通过其它方式获得,比如用扫描仪扫描。两个图像之间在光照、视角、亮度以及分辨率等方面均具有明显差异;构成负样本的两个图像来自不同文本。
利用训练好的孪生卷积神经网络,可以提取任意文本图像的特征。具体来说,将图像输入训练好的孪生卷积神经网络的任意一个分支中,以GhostNet 的最后一层输出作为该图像的特征。
基于所提取的图像特征,利用欧式距离计算两个图像的相似度。
本发明的有益效果在于:
本发明所提出的基于孪生卷积神经网络的手机拍摄文本图像匹配方法对手机拍摄图像存在的光照不均匀、视角变换以及失焦模糊等问题均具有良好的鲁棒性。
附图说明
图1是本发明的流程图;
图2是本发明提出的孪生卷积神经网络的结构图;
图3是本发明提出的利用训练好的孪生卷积神经网络提取图像特征流程图。
具体实施方式
结合以下具体实施例和附图,对本发明作进一步的详细说明。实施本发明的过程、条件、实验方法等,除以下专门提及的内容之外,均为本领域的普遍知识和公知常识,本发明没有特别限制内容。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南昌大学,未经南昌大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010576688.3/2.html,转载请声明来源钻瓜专利网。