[发明专利]一种在自然场景图像中检测文本的方法及装置

权利要求书

1.一种在自然场景图像中检测文本的方法，其特征在于，包括：

获取自然场景图像；

通过全卷积网络FCN模型，对所述自然场景图像进行卷积运算，得到所述自然场景图像的卷积特征；

根据所述自然场景图像的卷积特征，确定所述自然场景图像中包括的文本候选区域序列，其中，所述文本候选区域序列中的每一文本候选区域至少包括一个文本行，所述文本行为所述文本候选区域中包括的单行文本；

针对所述文本候选区域序列中的每一文本候选区域，执行：

通过感兴趣区域池化层roi-pooling，提取所述文本候选区域的卷积特征，并通过特征变换，将所述文本候选区域的卷积特征，转化为固定维度k的特征向量，k为正整数；

根据时间递归网络模型和所述固定维度k的特征向量，确定所述文本候选区域中包括的文本行的位置。

2.如权利要求1所述的方法，其特征在于，根据所述自然场景图像的卷积特征，确定所述自然场景图像中包括的文本候选区域序列，包括：

通过对所述自然场景图像的卷积特征进行合并，确定表征所述自然场景图像中文本位置的卷积特征；

使用表征所述自然场景图像中文本位置的卷积特征，对所述自然场景图像进行映射，并通过分类函数标注所述自然场景图像中的文本位置和所述自然场景图像中的非文本位置；

将所述自然场景图像中被标注为文本位置的至少一个区域，确定为所述文本候选区域序列。

3.如权利要求2所述的方法，其特征在于，所述时间递归网络模型包括N层长短期记忆LSTM，其中，N设置为大于等于最大文本行数目的正整数，所述最大文本行数目为所述文本候选区域序列中包括的文本行数目最多的文本候选区域中的文本行数目；

所述根据时间递归网络模型和固定维度k的特征向量，确定所述文本候选区域中包括的文本行的位置，包括：

将所述固定维度k的特征向量，作为所述N层LSTM的时间帧输入，逐次输入所述时间递归网络模型包括的LSTM，其中，首次仅将所述固定维度k的特征向量输入所述时间递归网络模型中的第一层LSTM，之后每一次将前一层LSTM输出的结果以及所述固定维度k的特征向量输入下一层LSTM，利用所述固定维度k的特征向量以及预先标定的文本位置，对所述时间递归网络模型进行训练，得到文本行候选框；

对所述文本行候选框的上下、左右边缘进行回归、检测和连通，确定所述文本行候选框的倾斜角度；

根据所述文本行候选框以及所述文本行候选框的倾斜角度，确定所述文本候选区域中包括的文本行的位置。

4.如权利要求3所述的方法，其特征在于，确定所述文本候选区域中包括的文本行的位置之后，所述方法还包括：

通过匹配算法，将确定出的所述文本候选区域中包括的文本行的位置与预先标定的文本位置进行匹配，确定与所述预先标定的文本位置匹配度最高的文本行；

通过误差算法确定所述匹配度最高的文本行，与标定的文本位置之间的误差，并根据所述误差，更新网络参数。

5.如权利要求3或4所述的方法，其特征在于，所述N设置为5。

6.一种在自然场景图像中检测文本的装置，其特征在于，包括：

获取单元，用于获取自然场景图像；

处理单元，用于通过全卷积网络FCN模型，对所述自然场景图像进行卷积运算，得到所述自然场景图像的卷积特征，根据所述自然场景图像的卷积特征，确定所述自然场景图像中包括的文本候选区域序列，其中，所述文本候选区域序列中的每一文本候选区域至少包括一个文本行，所述文本行为所述文本候选区域中包括的单行文本，针对所述文本候选区域序列中的每一文本候选区域，执行：通过感兴趣区域池化层roi-pooling，提取所述文本候选区域的卷积特征，并通过特征变换，将所述文本候选区域的卷积特征，转化为固定维度k的特征向量，k为正整数，根据时间递归网络模型和所述固定维度k的特征向量，确定所述文本候选区域中包括的文本行的位置。