[发明专利]一种视差确定方法、装置、设备、介质

说明书

本公开提供了一种视差确定方法，涉及人工智能领域，具体涉及计算机视觉和深度学习技术，具体可用于三维重建场景下。实现方案为：获取目标视图相应的多个图像，多个图像中的每一个图像为通过对目标视图进行尺寸调整来获得的，并且多个图像中的每一个图像与视差优化网络中相应的层结构所输出的特征图的尺寸相同；以及至少将初始视差图输入到视差优化网络，并且将多个图像中的每一个图像与相应的层结构所输出的特征图进行融合，获取视差优化网络输出的优化视差图，初始视差图为至少基于目标视图来生成的。

技术领域

本公开涉及人工智能领域，具体涉及计算机视觉和深度学习技术，具体可用于三维重建场景下，尤其涉及一种视差确定的方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术:人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

将深度学习技术应用于双目立体匹配具有十分重要的意义。在相关技术中，对双目立体匹配中视差图的生成以及优化仍然有很大的提高空间。

在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

发明内容

本公开提供了一种视差确定的方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

根据本公开的一方面，提供了一种利用视差优化网络来实现的视差确定方法，视差优化网络包括多个级联的层结构，并且方法包括：获取目标视图相应的多个图像，多个图像中的每一个图像为通过对目标视图进行尺寸调整来获得的，并且多个图像中的每一个图像与视差优化网络中相应的层结构所输出的特征图的尺寸相同；至少基于目标视图生成初始视差图；以及至少将初始视差图输入到视差优化网络，并且将多个图像中的每一个图像与相应的层结构所输出的特征图进行融合并将融合所得到的图像输入到视差优化网络，获取视差优化网络输出的优化视差图。

根据本公开的另一方面，提供了一种视差优化网络的训练方法，视差优化网络包括多个级联的层结构，并且方法包括：获取样本视图相应的真实视差图和多个样本图像，多个样本图像中的每一个样本图像为通过对样本视图进行尺寸调整来获得的，并且多个样本图像中的每一个样本图像与视差优化网络中相应的层结构所输出的特征图的尺寸相同；至少基于样本视图生成初始样本视差图；至少将初始样本视差图输入到视差优化网络，并且将多个样本图像中的每一个样本图像与相应的层结构所输出的特征图进行融合并将融合所得到的图像输入到视差优化网络，获取视差优化网络输出的优化样本视差图；将优化样本视差图和真实视差图输入到判别网络，以确定判别概率，判别概率能够表征优化样本视差图与真实视差图之间的差异，真实视差图具有与优化样本视差图相同的尺寸；响应于判别概率不符合预设的判别条件，更新视差优化网络和所述判别网络的参数；以及迭代上述过程直到判别概率符合所述预设的判别条件。

根据本公开的另一方面，提供了一种利用视差优化网络来实现的视差确定装置，视差优化网络包括多个级联的层结构，并且装置包括：获取模块，被配置为获取目标视图相应的多个图像，多个图像中的每一个图像为通过对目标视图进行尺寸调整来获得的，并且多个图像中的每一个图像与视差优化网络中相应的层结构所输出的特征图的尺寸相同；生成模块，被配置为至少基于目标视图生成初始视差图；以及优化模块，被配置为至少将初始视差图输入到视差优化网络，并且将多个图像中的每一个图像与相应的层结构所输出的特征图进行融合并将融合所得到的图像输入到视差优化网络，获取视差优化网络输出的优化视差图。