[发明专利]一种基于深度学习对视频或图片中数字的检测和识别方法

摘要

本发明提出了一种基于深度学习对视频或图片中数字的检测和识别方法，对采集样本进行处理并制作训练数据，选择合适的方式对图片中的数字进行标定。模拟可能出现的数字特征增加训练集，对数字进行各种特征的变换操作，把制作的数字样本置入采集的图片中并进行自动标记。制作训练数据完成后，采用faster‑rcnn算法，联合训练一个rpn网络和识别网络，再由训练完成后的模型对实时采集的视频或图片进行识别。本发明在各种场景、光照等条件下取得丰富的训练样本，并对图像中的数字及数字的标记进行合理设计，又人工设计了极丰富的不同特征的训练样本供网络进行学习，极大减少了误识别或不识别的情况，并有很快的检测速度。

主权项

1.一种基于深度学习对视频或图片中数字的检测和识别方法，其特征在于,包括以下步骤：步骤1，用摄像头拍摄采样包含若干个数字的视频，并对视频进行反交错处理后按同等间隔抽取图片；所述图片制作训练样本；步骤2，手工对训练样本中数字的位置与类别信息进行标定；步骤3，人工设计不同特征的数字字体增加训练样本，置入设计好的数字字体到采集的图片中并进行位置与类别信息的自动标定；步骤4，采用faster‑rcnn算法对制作好的数据样本集训练rpn网络与识别网络，所述rpn网络与识别网络交替训练两次，共享提取图片深度特征的前13层卷积层，得到训练模型；步骤5，训练完成后，调用训练好的模型对视频或图片中的数字进行检测和识别，输出图片中各个数字的位置及类别信息，完成检测。