[发明专利]基于神经网络的动态人体自由视点视频的生成方法和装置

权利要求书

1.一种基于神经网络的动态人体自由视点视频的生成方法，其特征在于，包括：

重建单个人体的预扫描模型；

通过多个RGB相机对所述单个人体拍摄，获取RGB图像序列；

对所述预扫描模型使进行变形，使得变形后的所述预扫描模型与每帧RGB图像匹配；

对所述预扫描模型采样，并在每一个采样点处定义一个隐码，并基于神经网络联合优化隐码与网络参数；

获取任意渲染视角，基于所述任意渲染视角生成自由视点视频；

所述对所述预扫描模型使进行变形，使得变形后的所述预扫描模型与每帧RGB图像匹配，包括：

基于所述预扫描模型对所述每帧RGB图像进行运动跟踪，获取所述每帧RGB图像对应的同拓扑模型：

建立能量函数(1)，通过最优化求解出所述预扫描模型的非刚性变形参数；

E＝E_color+E_silhouette+λ_smoothE_smooth (1)

其中，是颜色项，其中，M是所述预扫描模型的顶点集合，v是其中一个顶点，是经过非刚性变形后的顶点位置，c_v是顶点颜色，π(·)表示投影函数，ColorImg(·)代表在彩色图像上采样获得相应的RGB值；是轮廓项，其中，Boundary(M)表示M中靠近图像轮廓的顶点集合，DtImg是对输入轮廓做距离变换得到的图像；E_smooth为正则项；

获取所有帧RGB图像下同拓扑的所述预扫描模型。

2.如权利要求1所述的方法，其特征在于，所述重建单个人体的预扫描模型，包括：

使用多相机系统或扫描仪重建出所述单个人体的预扫描模型。

3.如权利要求1所述的方法，其特征在于，所述对所述预扫描模型采样，并在每一个采样点处定义一个隐码，并基于神经网络联合优化隐码与网络参数，包括：

对所述预扫描模型进行采样，获取系列采样点对于每个采样点定义一个隐码

定义f_d(·)和f_c(·)为设计好的神经网络，对于所述每帧RGB图像的所有空间点，对于任意空间点体密度公式为：σ＝f_d(z)；颜色公式为：c＝f_c(z，x，d)；其中，z表示x所在位置的隐码，由插值得到，表示渲染视角；

输入多相机采集视角，通过体渲染获取渲染图像与真实采集图像构建误差函数

基于公式(2)联合训练隐码与网络参数。

4.如权利要求1所述的方法，其特征在于，所述基于所述任意渲染视角生成自由视点视频，包括：

获取所述任意渲染视角对应的输入网络参数；

基于所述输入网络参数生成所述自由视点视频。