[发明专利]一种神经网络的训练方法及系统

说明书

本发明实施例提供一种神经网络的训练方法及系统，包括：对于初始反射激光图中的像素点，若判断得知像素点对应的红外相机投射射线与目标物体存在第一空间交点，则根据第一空间交点与散斑投影仪的中心点，获取投影仪射线；基于第一空间交点、第二空间交点、投影仪射线、虚拟平面和参考散斑图，获取像素点的强度值；根据像素点的强度值，获取最终物体散斑图，并根据最终物体散斑图，获取合成数据集；利用合成数据集对神经网络进行训练。本发明实施例在训练数据比较少的情况下，通过生成合成数据集，对神经网络进行训练，提高神经网络的训练精度，使得能满足深度学习网络大规模数据量的要求。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种神经网络的训练方法及系统。

背景技术

随着深度感知技术和人工智能技术的不断发展，基于单目结构光深度成像方法，凭借其强大的学习能力和泛化能力，具有很强的竞争力表现。

针对单目结构光成像系统，研究和实践证明，三维建模的性能依赖于数据的质量和规模，因此基于单目结构光深度成像系统的三维目标建模方法需要大规模且质量很好的数据，需要的每组数据包含：物体散斑图、参考散斑图、物体散斑图与参考散斑图之间的视差真值(Ground Truth，简称GT)数据。此时，由于视差GT数据直接反应了物体散班图和参考散班图上像素坐标关系，所以视差GT数据很难获取。一般会利用公开数据集，但目前的公开数据集都是针对被动式双目相机，且数据量很少，场景固定。

现有技术中主要有两类方法来构造单目结构光数据集：一种是使用激光扫描仪来获得，但这些数据集通常昂贵、缓慢且无法扩展至更大的数据集；另一种是通过性能良好的传统深度恢复方法，比如半全局匹配(Semi-Global Matching，简称SGM)、盲均衡算法等，来匹配物体散班图和参考散斑图，获得较好的视差数据，但由于算法的鲁棒性和适用性，只能生成较好的伪GT数据。

针对主动式双目成像系统，研究和实践证明，三维建模的性能依赖于数据的质量和规模，因此基于主动式双目深度成像系统的三维目标建模需要大规模且质量很好的数据，需要的每组数据包含：左相机物体散斑图、右相机物体散斑图、左相机物体散斑图与右相机物体散斑图之间的GT数据。此时，由于视差GT数据直接反应了左相机物体散斑图和右相机物体散斑图上像素坐标关系，所以视差GT数据很难获取。一般会利用公开数据集，但目前的公开数据集都是针对被动式双目成像系统，且数据量很少，场景固定。

目前主要是通过性能良好的传统深度恢复方法，比如SGM算法、盲均衡算法等，来匹配左相机物体散斑图和右相机物体散斑图，获得较好的视差数据，但由于算法的鲁棒性和适用性，只能生成较好的视差伪GT数据。

综上，无论是针对单目结构光成像系统还是主动式双目成像系统，目前只能采用数据量较少的激光扫描仪数据或者深度恢复方法得到伪GT数据集，而训练数据的质量和规模通常会影响神经网络模型的训练质量，由于神经网络模型的训练精度受到影响，从而影响后面的应用精度。

发明内容

本发明实施例提供一种神经网络的训练方法及系统，用以解决现有技术中数据量较少时无法对神经网络进行训练的缺陷，实现合成数据集的生成，基于合成数据集对神经网络进行训练，提高训练精度。

本发明实施例提供一种神经网络的训练方法，包括：

对于初始反射激光图中的任一像素点，若判断得知所述任一像素点对应的红外相机投射射线与目标物体存在第一空间交点，则根据所述第一空间交点与散斑投影仪的中心点，获取投影仪射线；

基于所述第一空间交点、第二空间交点、所述投影仪射线、虚拟图像平面和参考散斑图，获取所述任一像素点的强度值，所述第二空间交点为所述投影仪射线与所述目标物体的交点；

根据每一像素点的强度值，获取最终物体散斑图，并根据所述最终物体散斑图，获取合成数据集；

基于所述合成数据集，对目标神经网络进行训练。