[发明专利]使用光场数据重构表示场景的点云的方法和设备

说明书

本发明涉及对表示场景的点云的重构。点云数据占用大量存储空间，这使得存储繁琐且处理效率降低。为此，提出了一种用于对表示场景的信号进行编码的方法，该方法包括将表示由传感器的不同像素感测的光线的参数映射在传感器上。第二编码参数集合用于根据表示由传感器的不同像素感测的光线的参数来重构光场内容，表示由所述第一参数集合表示的所述光线与至少所述场景的对象的相交点的深度的第三参数集合以及表示颜色数据的第四参数集合用于在接收器侧对点云进行重构。

技术领域

本发明涉及数据集和元数据的传输，更具体地，涉及能够重构表示场景的点云的数据的传输。

背景技术

点云是用计算机图形表示3D(三维)场景的众所周知的方式。将场景表示为点云有助于查看此场景的不同视点。在点云中，3D空间中的每个坐标点(x，y，z)a对应于RGB值。但是，场景仅被表示为空间中的点的集合，而没有强的连续性。

压缩表示点云的数据并非易事。实际上，由于属于点云的所有点并不像标准视频那样位于简单的矩形形状中，因此对这些数据进行编码的方式并不简单。

此外，点云表示占用大量存储空间，这使得存储繁琐且处理效率较低。

考虑到前述情况，设计了本发明。

发明内容

根据本发明的第一方面，提供了一种用于对表示从光学设备获得的场景的信号进行编码的计算机实现的方法，所述方法包括针对所述光学设备的传感器的至少一个像素对以下各项进行编码：

-第一参数集合，表示由所述像素感测的光线，

-第二参数集合，用于根据所述第一参数集合重构所述光线，

-第三参数集合，表示由所述第一参数集合表示的所述光线与至少所述场景的对象的相交点沿所述光学设备的光轴的位置，

-第四参数集合，表示由所述像素感测的所述场景的所述对象的颜色数据，

所述第三参数集合连同所述第四参数集合和所述重构的光线一起用于重构表示所述场景的点云。

根据本发明实施例，根据所述编码方法发送的参数独立于用于获取要由接收设备发送和处理的场景的光学系统。

在根据本发明实施例的方法中，表示由光学系统的传感器的不同像素感测的光线的参数，即第一参数集合中的参数，被映射在传感器上。因此，这些参数可以被视为图片。例如，当由光学系统的像素感测的光线用四个参数表示时，表示由光学系统的传感器的像素感测的光线的参数被分组在四个图片中。

可以根据诸如MPEG-4第10部分AVC(也被称为h264)、h265/HEVC或其可能的后续h266之类的视频标准对这些图片进行编码和发送，并且以联合视频比特流发送这些图片。可以使用补充增强信息(SEI)消息对第二编码集合进行编码。在根据本发明实施例的方法中定义的格式使得能够在不引入任何强误差(无损编码)或引入有限量的误差(有损编码)的情况下对待传输数据进行强压缩。

根据本发明实施例的方法不限于由光学设备直接获取的数据。这些数据可以是计算机图形图像(CGI)，其完全或部分地由计算机针对给定的场景描述来进行模拟。另一数据源可以是经修改的(例如，被颜色分级的)后期制作数据、从光学设备或CGI获得的光场数据。现在在电影工业中常见的是具有使用光学获取设备获取的数据和CGI数据两者的混合数据。应当理解，传感器的像素可以通过计算机生成场景系统来模拟，并且扩展而言，整个传感器可以通过所述系统来模拟。从这里可以理解的是，对“传感器的像素”或“传感器”的任何引用可以是附接到光学获取设备的物理对象或者是由计算机生成场景系统获得的模拟实体。

这种编码方法使得能够以紧凑格式对用于重构表示所述场景的点云的数据进行编码。