[发明专利]基于人工智能和模式识别的中间画图像优化方法及系统

权利要求书

1.一种基于人工智能和模式识别的中间画图像优化方法，其特征在于：具体包括以下步骤；

对动画视频图像进行分段处理，并将每段视频的中间画和原画按照比例进行分帧处理；对每段视频中的中间画进行异常检测，获取异常中间画图像；

提取异常中间画图像，对异常中间画中异常区域的部件边缘进行检测，获取异常区域部件的边缘轮廓，将原画的部件边缘轮廓与异常区域部件的边缘轮廓进行相似性度量，获取局部异常波动程度；

对异常波动程度超过设定阈值的异常部件边缘进行像素点主成分分析，提取异常部件边缘的像素点，并利用该异常部件边缘像素点的灰度梯度方向和像素坐标得到相似性度量；根据相似性度量获取同一主成分方向的像素点，并对获取的此类像素点进行合并形成同一主成分方向的边缘；对合并后的边缘依据异常程度和边缘灰度的方式进行轮廓拟合，得到非线性曲线，采用非线性插值法，完成边缘轮廓优化；

所述每段视频的中间画和原画按照如下比例进行分帧处理：

式中：N为中间画与原画的比值，N_z为中间画的数量，N_y为原画数量；当中间画和原画的比值满足上述公式时直接划分为一段；当中间画和原画的比值不满足上述公式时，则直接划为一段作为视频最后一段；

所述获取异常中间画图像的具体步骤如下：

语义分割网络训练，对动画视频中原画和小原画的部件进行分别标注，将标注后的原画和小原画图像送入语义分割编码器和解码器进行训练，得到语义分割网络训练；

对原画中的轨目信息进行识别，获得画面切换速度v’；

将分段出的中间画输入到语义分割网络中，得到中间画的人物分割区域，获取人物整体光流信息V_x和V_y，通过该人物的光流信息得到光流速度V和光流方向θ；

所述光流速度V的表示公式为：

式中：V_x为人物整体在x轴上的光流信息，V_y为人物整体在y轴上的光流信息；

所述光流方向θ的表示公式为：

式中：表示第i帧中像素点的纵坐标，f_xⁱ表示第i帧中像素点的横坐标；

通过得到的光流速度V计算区域平均速度变化量：

将该区域平均速度变化量与画面切换速度v’进行互验证，得到突变区域的异常波动程度其中，p表示波动频率，通过该波动程度判断异常中间画图像；

当异常部件边缘中相似度为1时，则说明该像素点位于同一主成分方向上。

2.如权利要求1所述的基于人工智能和模式识别的中间画图像优化方法，其特征在于，所述异常中间画中异常区域为人物异常区域，对该人物异常区域的部件边缘检测按照如下方法进行：

对提取的异常中间画进行人物部件细分块；

获取人物部件中的人物异常区域，对异常区域内的部件进行边缘提取，获取部件中的边缘轮廓；

对视频的原画和分段后小原画进行初始模板匹配，所述原画作为模板，获取原画各部件轮廓和人物异常区域部件的边缘轮廓的相似性度量δ：表达式为：

式中：为异常边缘像素点的灰度梯度方向；G_y,G_x分别表示相邻边缘点y轴和x轴对应的灰度差值，ω_k表示权重系数；将相似性度量δ作为局部异常程度δ^′。

3.如权利要求2所述的基于人工智能和模式识别的中间画图像优化方法，其特征在于，当异常区域内部件位置的波动程度时，通过异常波动程度获取相似度优化参数τ，该相似度优化参数τ的表达式为：

式中：表示第k个异常部件的波动程度，D₁表示异常部件的自身相似度，获得优化后的局部异常程度δ^′＝δ+τ。

4.如权利要求3所述的基于人工智能和模式识别的中间画图像优化方法，其特征在于，所述像素坐标得到自身相似度的表达式为：

式中：为异常边缘像素点的灰度梯度方向，ε表示趋近于0的数，表示像素坐标点，表示第i帧中像素点的纵坐标，表示第i帧中像素点的横坐标。

5.一种基于人工智能和模式识别的中间画图像优化系统，其特征在于：该系统包括异常中间画筛选模块、中间画异常分析模块以及中间画优化模块；

所述异常中间画筛选模块用于对动画视频图像进行分段处理，并将每段视频的中间画和原画按照比例进行分帧处理；对每段视频中得中间画进行异常检测，获取异常中间画图像；

所述中间画异常分析模块用于提取异常中间画图像，对异常中间画中异常区域的部件边缘进行检测，获取异常区域部件的边缘轮廓，将原画的部件边缘轮廓与异常区域部件的边缘轮廓进行相似性度量，获取局部异常波动程度；

所述中间画优化模块用于对异常波动程度超过设定阈值的异常部件边缘进行像素点主成分分析，提取异常部件边缘的像素点，并利用该异常部件边缘像素点的灰度梯度方向和像素坐标得到相似性度量；根据相似性度量获取同一主成分方向的像素点，并对获取的此类像素点进行合并形成同一主成分方向的边缘；对合并后的边缘依据异常程度和边缘灰度的方式进行轮廓拟合，得到非线性曲线，采用非线性插值法，完成边缘轮廓优化；

所述每段视频的中间画和原画按照如下比例进行分帧处理：

式中：N为中间画与原画的比值，N_z为中间画的数量，N_y为原画数量；当中间画和原画的比值满足上述公式时直接划分为一段；当中间画和原画的比值不满足上述公式时，则直接划为一段作为视频最后一段；

所述获取异常中间画图像的具体步骤如下：

语义分割网络训练，对动画视频中原画和小原画的部件进行分别标注，将标注后的原画和小原画图像送入语义分割编码器和解码器进行训练，得到语义分割网络训练；

对原画中的轨目信息进行识别，获得画面切换速度v’；

将分段出的中间画输入到语义分割网络中，得到中间画的人物分割区域，获取人物整体光流信息V_x和V_y，通过该人物的光流信息得到光流速度V和光流方向θ；

所述光流速度V的表示公式为：

式中：V_x为人物整体在x轴上的光流信息，V_y为人物整体在y轴上的光流信息；

所述光流方向θ的表示公式为：

式中：表示第i帧中像素点的纵坐标，表示第i帧中像素点的横坐标；

通过得到的光流速度V计算区域平均速度变化量：

将该区域平均速度变化量与画面切换速度v’进行互验证，得到突变区域的异常波动程度其中，p表示波动频率，通过该波动程度判断异常中间画图像；

当异常部件边缘中相似度为1时，则说明该像素点位于同一主成分方向上。