[发明专利]一种基于深度相机的目标文本点云图像识别矫正方法

说明书

本发明公开了一种基于深度相机的目标本文点云图像识别矫正方法。它通过深度相机获取包含文本点云图像数据，具体为：首先，采用基于统计滤波的方法进行点云去噪，利于实现文本区域的检测与提取；其次，对文本区域采用点云法向量迭代过滤的方法，求出最终平面平均法向量；最后，通过点云旋转平移方法并根据结构化点云和图像实际长宽保持一致的要求，得到矫正后的目标文本的实际长宽，即实现了目标文本对应图像的矫正。本发明限定的方法，基于深度相机，其成本低廉、算法鲁棒性高、方法简单、计算资源小、矫正效果好，且能适应不同光照、不同距离和不同拍摄角度场景。

技术领域

本发明涉及图像处理技术领域，具体是一种基于深度相机的目标本文点云图像识别矫正方法。

背景技术

随着图像采集设备的大范围普及，文本识别广泛应用于各种自然场景中。然而，受到文本大小、字体和图像质量退化等因素的影响，达到高精度的识别结果仍具有极大的挑战性。同时，考虑到自然场景图像通常包含多种语言类别，这就更加大了准确识别的难度。因此，基于移动终端有限的算力，提出一种方法简单、矫正效果好的图像矫正方法十分必要。除方法本身，图像质量乃是影响文本识别准确率的最大因素。一般从三个方面来衡量图像的质量：倾斜、清晰度、歪曲。现实中采集到的文本图像可能存在倾斜、歪曲的情况，若能将其矫正为水平正直的文本，将能极大地提升后续文本识别效率。

近年来，国内外学术界、工业界提出了很多研究文本图像矫正的方案。例如：发明专利(发明人：王鑫、温凯雯等，申请号：201911117254.0，名称：文本图像矫正方法、装置、计算机设备及存储介质。)公开了一种文本图像矫正方法、装置、计算机设备及存储介质，该方法包括获取需要矫正的文本图像，将需要矫正的文本图像输入至边缘检测模型进行深度学习，以得到二值边缘图像；该方法需要对图像进行训练，计算资源消耗大且用时久。发明专利(发明人：邱君华、李宏宇等，申请号：201910140635.4，名称：一种文本图像旋转矫正方法及系统。)该方法包括将待矫正文本图像进行预处理，生成二值化图像，通过图像中的文本聚集特点，提取文本行的方向，计算出旋转角，从而进行图像矫正。发明专利(发明人：刘宁、刘辉等，申请号：201610076128.5，名称：文本图像倾斜矫正方法和系统。)该方法包括将待矫正文本图像进行灰度化和二值化处理，根据霍夫变换，提取所述二值图像的长度和倾斜角度，从而对图像进行旋转和矫正。这两种方法都是基于传统的图像处理方式，容易受图像背景的影响，且在进行二值化时难以确定分割阈值，不能有效划分出背景区域和目标文本区域，鲁棒性不足。综上所述，当前的技术方案都有一定的局限性。

发明内容

为克服现有技术上的不足，本发明的目的在于提供一种基于深度相机的目标字符串点云图像识别矫正方法。

本发明限定的一种基于深度相机的目标字符串点云图像识别矫正方法，具体包含以下步骤：

步骤1：记深度相机采集图像的矩形框为box1、包含目标文本的矩形框为box2，box1和box2中心点相同，且box1包含box2；其中，box2的宽度和高度分别记为w和h；

步骤2：使用深度相机获取box2包含的点云和box1包含的RGB图像，其中，box2包含的点云记为集合P＝{A_i＝(x_i,y_i,z_i)i＝1,2,...,n}，box1包含的RGB图像记为Q,深度相机出厂时给定的内参矩阵为I；其中，A_i表示box2包含的第i个点云,(x_i,y_i,z_i)表示第i个点云的三维坐标，n表示box2包含的点云数量；

步骤3：根据式(1)计算得到图像Q的像素点坐标与集合P中的点云坐标对应关系；

k＝y*w+x (1)