[发明专利]基于视觉传达的动画中间画智能生成方法及系统

说明书

本发明公开了一种基于视觉传达的动画中间画智能生成方法及系统。方法包括：利用轨目模板从轨目图像中提取轨目信息点，根据轨目信息点的分布确定轨目信息点的页标识、类别得到真值轨目信息；将第一关键张、第二关键张、真值轨迹信息和真值轨目信息输入中间画双向生成神经网络，得到第一中间画、第二中间画；根据滑窗机制分别进行双向预测，在中间画双向生成神经网络损失函数的监督下，最终获取所有符合轨目信息要求的中间画。相较于现有技术，本发明可实现复杂场景下的动画中间画智能生成，极大地减少了机器运算量，在降低动画中间画制作成本的同时提升中间画生成质量，提高画师满意度。

技术领域

本发明涉及人工智能和动画制作领域，具体涉及一种基于视觉传达的动画中间画智能生成方法及系统。

背景技术

传统的动画制作通常需要动画插画师进行中间画的绘制，并将其插到轨目的相应位置，在动画制作过程中，中间画的制作往往需要很大的工程量，这种人工制作虽然精确度高，却非常耗费人力物力。常规动画中间画的智能生成只适用于如圆形、正方形等基本形状的中间帧生成，且对于复杂结构或场景难以自动生成中间帧。

现有技术中，二维动画制作过程中的中间帧自动生成的方法(CN101436310B)提出了一种基于区域划分、特征点匹配和贝塞尔曲线插值方式生成动画中间帧的方法，未考虑到画师轨目指导信息。

发明内容

为了解决上述技术问题，本发明提出一种基于所识别的轨目信息进行中间画生成的方法和系统，可有效提高动画中间画智能生成的连贯性和画师满意度，所采用的技术方案具体如下：

第一方面，本发明一个实施例提供了一种基于视觉传达的动画中间画智能生成方法：

利用轨目模板从轨目图像中提取轨目信息点，根据轨目信息点的分布确定轨目信息点的页标识、类别得到真值轨目信息；

将第一关键张、第二关键张、真值轨迹信息和真值轨目信息输入中间画双向生成神经网络，得到第一中间画、第二中间画；所述中间画双向生成神经网络的损失通过以下方式衡量：对第一中间画与第一关键张的相似度、第二中间画与第二关键张的相似度、第一中间画与第二中间画的相似度求和得到第一损失；对第一关键张、第一中间画、第二中间画、第二关键张中运动部件轨迹与真值轨迹的差异得到第二损失；根据目标中间画与第一关键张、第二关键张的轨迹距离得到推理轨目信息，所述目标中间画包括第一中间画和/或第二中间画，根据对应页标识的真值轨目信息与推理轨目信息的差异得到第三损失；第一损失、第二损失、第三损失求和得到中间画双向生成神经网络的损失。

优选的，所述第一关键张、第二关键张之间动画中间画的双向生成方法：在神经网络的基础上添加滑窗机制，滑窗长度为2，步长为1；由第一关键张、第二关键张双向生成第一中间画、第二中间画，滑窗移动后滑窗内的两帧图像变更为第一关键张和第一中间画或第二关键张和第二中间画，根据滑窗机制分别再次进行双向预测，直至最终获取所有符合轨目信息要求的中间画。

优选的，分别获取第一中间画、第二中间画推理轨目信息与对应真值轨目信息的差异，若第一关键张、第二关键张之间中间画为一张，则目标中间画为第一中间画、第二中间画中对应差异较小的中间画；若第一关键张、第二关键张之间的中间画为两张，则目标中间画为第一中间画和第二中间画。所述第一中间画与第一关键张的相似度、第二中间画与第二关键张的相似度、第一中间画与第二中间画的相似度分别对应第一权值、第二权值、第三权值；其中，第一权值、第二权值之和为定值，所述第一损失为相似度的加权之和；所述第一损失用于在中间画双向生成神经网络训练时进行动态监督：根据目标中间画对第一权值或第二权值进行初始调节，然后再次生成中间画，若第三损失减小，则按照初始调节方式对第一权值或第二权值进行调节。