[发明专利]基于神经网络的光照数据预测方法、系统、终端及介质

权利要求书

1.一种基于神经网络的光照数据预测方法，其特征在于，包括：

采集对象物在光照下基于不同视角的图像数据，以构建该对象物的多维几何模型；

撷取多组基于所述多维几何模型的采样数据，以用作训练神经网络模型的训练数据；其中，所述神经网络模型用于预测所述对象物在任一视角下的反射光照数据；

其中，采集所述图像数据以及构建所述多维几何模型的方式包括：采集所述对象物在初始光照下的图像数据，以构建初始多维几何模型；采集所述对象物在目标光照下的图像数据，以基于所述初始多维几何模型构建经目标光照下的图像标定后的模型；其中，所述初始光照包括非自然光照，所述目标光照包括自然光照；

撷取用作训练数据的采样数据包括输入采样数据和输出采样数据；所述输入采样数据包括所述多维几何模型中像素点的位置数据和入射光照数据；所述输出采样数据包括采样像素点的反射光照数据；其中，采用所述神经网络预测所述对象物在任一视角下的反射光照数据的方式包括：获取基于任一视角的相机数据和光场数据；其中，所述相机数据包括相机内参和相机外参；所述光场数据包括渲染深度数据、法向数据以及漫反射纹理数据；基于所述相机数据和光场数据计算待预测图像上每一像素点N的N×2位置参数矩阵和N×3入射光照参数矩阵；将N×2位置参数矩阵和N×3入射光照参数矩阵作为所述神经网络模型的N×5输入参数矩阵，并输出得到对应的N×3预测高频反射光照数据；将输出得到的高频反射光照数据与所述漫反射纹理数据相结合，以生成在该视角下的预测反射光照数据；

所述方法包括：将所述采样数据用作训练神经网络模型的训练数据之前，对所述采样数据执行预处理操作；所述预处理操作包括：将反射光照数据拆分为低频反射光数据和高频反射光数据；将当前像素视角转变为光照入射方向。

2.根据权利要求1所述的基于神经网络的光照数据预测方法，其特征在于，所述方法包括：基于三维重建算法构建所述对象物的三维几何模型，其包括：

利用特征提取算法对两幅或多副图像进行特征点提取操作以及特征点匹配，以获取两幅或多副图像之间的匹配关系；

利用噪声点去除算法去除所匹配的特征点中的噪声匹配点；

基于去除噪声匹配点后的匹配点计算单应性矩阵和相机参数；所述相机参数矩阵包括相机内参和相机外参。

3.一种基于神经网络的光照数据预测系统，其特征在于，包括：

采集模块，用于采集对象物在光照下基于不同视角的图像数据，以构建该对象物的多维几何模型；

撷取模块，用于撷取多组基于所述多维几何模型的采样数据，以用作训练神经网络模型的训练数据；其中，所述神经网络模型用于预测所述对象物在任一视角下的反射光照数据；

其中，所述采集模块采集所述图像数据以及构建所述多维几何模型的方式包括：采集所述对象物在初始光照下的图像数据，以构建初始多维几何模型；采集所述对象物在目标光照下的图像数据，以基于所述初始多维几何模型构建经目标光照下的图像标定后的模型；其中，所述初始光照包括非自然光照，所述目标光照包括自然光照；

所述撷取模块撷取用作训练数据的采样数据包括输入采样数据和输出采样数据；所述输入采样数据包括所述多维几何模型中像素点的位置数据和入射光照数据；所述输出采样数据包括采样像素点的反射光照数据；其中，采用所述神经网络预测所述对象物在任一视角下的反射光照数据的方式包括：获取基于任一视角的相机数据和光场数据；其中，所述相机数据包括相机内参和相机外参；所述光场数据包括渲染深度数据、法向数据以及漫反射纹理数据；基于所述相机数据和光场数据计算待预测图像上每一像素点N的N×2位置参数矩阵和N×3入射光照参数矩阵；将N×2位置参数矩阵和N×3入射光照参数矩阵作为所述神经网络模型的N×5输入参数矩阵，并输出得到对应的N×3预测高频反射光照数据；将输出得到的高频反射光照数据与所述漫反射纹理数据相结合，以生成在该视角下的预测反射光照数据；

将所述采样数据用作训练神经网络模型的训练数据之前，对所述采样数据执行预处理操作；所述预处理操作包括：将反射光照数据拆分为低频反射光数据和高频反射光数据；

将当前像素视角转变为光照入射方向。

4.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至2中任一项所述基于神经网络的光照数据预测方法。

5.一种电子终端，其特征在于，包括：处理器及存储器；

所述存储器用于存储计算机程序；

所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求1至2中任一项所述基于神经网络的光照数据预测方法。