[发明专利]基于shader的视频流图像校正方法、装置和设备

说明书

本申请的实施例提供了基于shader的视频流图像校正方法、装置和设备。所述方法包括获取待校正图像；对所述待校正图像进行预处理，得到用于描述所述待校正图像中每个像素的位置在校正前后的映射关系；同时将所述待校正图像转换为浮点类型的数据图像；所述映射关系为二维图像矩阵；对所述数据图像进行编码处理，得到与其对应的颜色图像；基于所述映射关系、数据图像和颜色图像，编写shader顶点和片元程序文件；通过GPU加载所述shader顶点和片元程序文件，得到校正后的渲染图像。以此方式，能够为各种需要校正的视频流图像进行GPU加速校正，不受NIVIDA显卡限制，通用性强，视频校正效率高。

技术领域

本申请的实施例涉及图像校正领域，尤其涉及基于shader的GPU加速的视频流图像校正方法、装置、设备和计算机可读存储设备。

背景技术

目前国内的视频流图像校正算法。一种是基于Opencv的CUDA库实现，这种视频图像的必须依赖于openCV库和NIVIDA显卡才能实现，而且opencv图像校正计算过程是基于像素计算的，实现效率并不是很高；

另一种是通过shader的顶点和片元编程计算利用GPU的并行渲染能力实现视频的实时校正的；需要传入数学计算公式和参数，不同的算法需要编写不同shader程序计算和传入不同的参数实现，不具有通用性；如鱼眼畸变校正内参矩阵图像校正等。

发明内容

根据本申请的实施例，提供了一种基于shader的视频流图像校正方案。

在本申请的第一方面，提供了一种基于shader的视频流图像校正方法。该方法包括：

获取待校正图像；

对所述待校正图像进行预处理，得到用于描述所述待校正图像中每个像素的位置在校正前后的映射关系；同时将所述待校正图像转换为浮点类型的数据图像；所述映射关系为二维图像矩阵；

对所述数据图像进行编码处理，得到与其对应的颜色图像；

基于所述映射关系、数据图像和颜色图像，编写shader顶点和片元程序文件；

通过GPU加载所述shader顶点和片元程序文件，得到校正后的渲染图像。

进一步地，所述对所述数据图像进行编码处理，得到与其对应的颜色图像包括：

对所述数据图像中的X方向数据和Y方向数据，分别进行编码处理，将一个浮点类型的数据转化为三个三通道的RGB颜色值，得到X方向的三通道颜色图像和Y方向的三通道颜色图像。

进一步地，所述基于所述映射关系、数据图像和颜色图像，编写shader顶点和片元程序文件包括：

将所述数据图像，作为shader的片元着色器的原始纹理；将所述颜色图像，作为shader的片元着色器的2张附加数据纹理；

对所述附加数据纹理进行解码还原，将三通道的RGB值转化为浮点值，合并两个单独通道的浮点值，并将合并后的浮点值作为shader片元的原始图像的目标重定位坐标；

将所述目标重定位坐标，作为图像采样的输入纹理坐标参数，基于所述映射关系得到校正后的目标颜色值；

完成shader顶点和片元程序文件的编写。

进一步地，还包括：

通过预设的差值算法，对片元程序文件中的图像进行优化。

进一步地，所述差值算法包括邻近点差值、双线性插值、双三次插值和/或兰斯索差值算法。

进一步地，所述对所述待校正图像进行预处理，得到用于描述所述待校正图像中每个像素的位置在校正前后的映射关系包括：