[发明专利]基于神经网络的图像矫正方法、装置、设备及介质

权利要求书

1.一种基于神经网络的图像矫正方法，其特征在于，包括：

响应于图像矫正指令，根据所述图像矫正指令获取初始样本；

对所述初始样本进行转换，得到第一训练样本；

利用所述第一训练样本训练DBNet网络，得到第一模型，并获取所述第一模型的输出作为文本线掩膜图；

对所述文本线掩膜图与所述第一训练样本进行融合处理，得到第二训练样本；

对所述第一模型与预设的DocUNet网络进行拼接，得到初始网络；

利用所述第二训练样本训练所述初始网络，得到第二模型；

当接收到待矫正图像时，将所述待矫正图像输入至所述第二模型，并获取所述第二模型的输出作为光流信息图；

根据所述光流信息图矫正所述待矫正图像，得到目标图像。

2.根据权利要求1所述的基于神经网络的图像矫正方法，其特征在于，所述对所述初始样本进行转换，得到第一训练样本包括：

从所述第一训练样本中的每个样本图片上随机获取任意点作为每个样本图片的起始点；

从每个样本图片的起始点开始，根据随机生成的步长进行移动，得到移动轨迹，其中，每移动一次随机生成下一次移动的步长，并且，在所述移动轨迹中，在根据所述随机生成的步长确定的每个点上进行扭曲或者翻转；

根据移动后的每个样本图片构建所述第一训练样本。

3.根据权利要求1所述的基于神经网络的图像矫正方法，其特征在于，所述方法还包括：

利用所述第一模型的主干网络提取所述第一训练样本中每个样本图片的图像特征；

对每个样本图片的图像特征进行上采样处理，得到与每个样本图片具有相同尺寸的特征图；

根据所述特征图进行预测，得到每个样本图片的概率图及阈值图；

根据每个样本图片的概率图及阈值图进行二值化处理，得到每个样本图片的文本线掩膜图像。

4.根据权利要求1所述的基于神经网络的图像矫正方法，其特征在于，所述对所述文本线掩膜图与所述第一训练样本进行融合处理，得到第二训练样本包括：

确定所述文本线掩膜图中的每个掩膜图与所述第一训练样本中的每个样本图片间的对应关系；

将对应的掩膜图与样本图片划分为一组，得到至少一个图片组；

将每个图片组中的掩膜图及样本图片进行融合，得到至少一个融合图片；

整合所述至少一个融合图片，得到所述第二训练样本。

5.根据权利要求1所述的基于神经网络的图像矫正方法，其特征在于，在对所述第一模型与预设的DocUNet网络进行拼接前，所述方法还包括：

获取初始DocUNet网络；

识别所述初始DocUNet网络中的编码层及解码层；

获取所述编码层及所述解码层间的卷积层；

将所述卷积层替换为空洞卷积层，得到所述预设的DocUNet网络。

6.根据权利要求1所述的基于神经网络的图像矫正方法，其特征在于，所述利用所述第二训练样本训练所述初始网络，得到第二模型包括：

冻结所述初始网络中所述第一模型的参数；

在所述第一模型的参数被冻结后，将所述第二训练样本输入至所述初始网络进行训练；

在训练过程中，监控损失函数的取值；

当所述损失函数的取值达到收敛时，停止训练，得到所述第二模型。

7.根据权利要求1所述的基于神经网络的图像矫正方法，其特征在于，所述根据所述光流信息图矫正所述待矫正图像，得到目标图像包括：

对于所述待矫正图像中的每个点，从所述光流信息图中获取每个点在x通道上的位移，及获取每个点在y通道上的位移；

根据每个点在x通道上的位移及每个点在y通道上的位移移动对应的每个点；

将移动后的所述待矫正图像确定为所述目标图像。