[发明专利]一种基于图像内容识别的本地图片快速检测方法

权利要求书

1.一种基于图像内容识别的本地图片快速检测方法，其特征在于，包括如下步骤：

步骤1，构建训练数据集，包括采集不同噪声环境下的场景文本图片和标注图片对应的内容文本区域、以及内容文本区域的中心点和旋转角信息，所述内容文本区域即定位框；

步骤2，利用步骤1构建的训练数据集在服务器端训练文本识别模型与目标检测模型，所述文本识别模型用于定位图片中的文本区域并提取图片中的关键字信息，目标检测模型用于识别图片的类别；

步骤3，利用训练好的文本识别模型与目标检测模型，自动将客户端的图片输入转化为带有语义标注的文件；

所述文本识别模块中，以特征金字塔网络为主干网络对原始图片I进行特征提取，将提取到的特征图F_I输入到Anchor生成模块，所述Anchor生成模块包括三个分支，分别为位置预测分支、形状预测分支和角度预测分支，用于获得预测框的位置、形状和旋转角，然后针对形状预测分支的预测结果，用1×1卷积预测每个位置卷积核的偏置场，并基于该偏置场进行3×3的可变卷积完成对特征图的融合，最后将特征融合结果输入到CRNN文本识别网络中实现对图片中文本信息的识别；

其中，位置预测分支接收主干网络FPN的基本特征输出F_I，并对特征图进行1×1的卷积以获得目标概率的映射，然后对每个元素使用sigmoid函数从而转化为概率值，输出为与输入特征映射大小相同的概率图p(·|F_I)；

形状预测分支接收主干网络FPN的基本特征输出F_I，并对特征图进行1×1的卷积，该分支为每个位置预测(w,h)的最佳形状，其中，w为预测框的宽度，h为预测框的高度；

角度预测分支的输入为基本特征图F_I，输出为经过1×1卷积之后的角度预测信息i_θ，最终角度预测值由求得；

步骤4，将步骤3得到的文件进行解析、整理并转存在用户本地数据库中；

步骤5，根据客户端发出的请求信息，在数据库中进行检索，然后将检索结果反馈给客户端，并显示图片内容和对应标注。

2.如权利要求1所述的一种基于图像内容识别的本地图片快速检测方法，其特征在于：步骤1中通过定位框的顶点计算中心点坐标，并计算每个定位框相对水平方向的旋转角，旋转角的计算过程如下，

Step11：对于给定的四个顶点{(x₁,y₁,),…,(x₄,y₄)}，将横坐标最小的点x_min定义为A；

Step12：其他三个点和A连线形成夹角，取中间点为C；

Step13：以AC为连线，在AC上方为D，下方为B；

Step14：比较AC和BD的斜率，如果k_ACk_BD，则顺序调整为DABC，反之，则维持ABCD；

Step15：定位框的旋转角θ为AB和水平线之间的夹角。