[发明专利]一种低带宽人工智能人像视频传输方法

说明书

本发明涉及视频传输技术领域，尤其涉及一种低带宽人工智能人像视频传输方法，包括如下步骤：输出客户端打开摄像头，采集短时长视频流发送给服务端；服务端对接收的原始视频流中的图像进行分析，更新维护分离背景和分割人像特征的人工智能算法并下发给输出客户端；输出客户端获取最新的人工智能图像分割算法后，实时对采集到的视频图像进行分割运算，运算的结果是分离出背景图像，人像各特征节点的坐标和填充在节点中多边形的贴图；接收客户端获取背景图像并直接显示；获取特征节点左边，获取人像多边形贴图，显示人像图像。本发明占用带宽与流视频传输方法相比减小数个数量级，将大幅提升网络人像视频实时传输的效率和能力。

技术领域

本发明涉及视频传输领域，尤其涉及一种低带宽人工智能人像视频传输方法。

背景技术

当前的视频传输方法主要基于无损位图和有损压缩图像的传输。视频传输需要占用大量带宽，因此视频清晰度和帧率很难提高。以典型的720p清晰度30fps帧率的视频传输为例，无损模式下网络需要承载每秒27兆字节的数据内容，常用的有损压缩模式下也需要2Mbps的带宽占用。当视频清晰度和帧率需求进一步提高，网络带宽占用容易超过网络基础设施的承载上限。当前多路视频会议和高清远距实时视频通信的需求迅速增长，急需一种占用带宽更低，更适合网络会议使用的人像视频传输方法。

如何进行三维人像视频传输是虚拟现实发展过程中遇到的问题。一种可行的方案是使用双目摄像头或视频摄像头配合红外景深摄像头，实时虚拟现实视频通信时网络需要承载多摄像头输出的视频流。这种方案对网络带宽的传输能力提出了更大的挑战。

相对于网络带宽对视频传输造成的瓶颈，本地硬件设备的计算能力特别是当前硬件设备中的图形加速计算能力没有得到充分的运用。本发明通过人工智能算法，将背景图像与人像图像剥离，并对人像进行特征点分割，充分调用本地硬件图像运算能力，对人像数据进行分割、传输和解析

正是基于上述原因，本发明提供了一种低带宽人工智能人像视频传输方法。

发明内容

本发明的目的在于克服现有技术的不足，提供一种低带宽人工智能人像视频传输方法，占用带宽与流视频传输方法相比减小数个数量级，将大幅提升网络人像视频实时传输的效率和能力。

本发明公开了一种低带宽人工智能人像视频传输方法，包括如下步骤：

步骤1，输出客户端打开摄像头，采集短时长视频流发送给服务端；

步骤2，服务端对接收的原始视频流中的图像进行分析，更新维护分离背景和分割人像特征的人工智能算法；

步骤3，将人工智能图像分割算法下发给输出客户端；

步骤4，输出客户端打开网络传输通道，获取最新的人工智能图像分割算法后，实时对采集到的视频图像进行分割运算，运算的结果是分离出背景图像，人像各特征节点的坐标和填充在节点中多边形的贴图；

步骤5，输出客户端判断背景图像与上一次的运算结果是否相同，如发生变化则将背景图像发送出去；发送每次运算得到的特征节点坐标；判断人像多边形贴图与上一次的运算结果是否相同，如发生变化则将发生变化的贴图发送出去；

步骤6，接收客户端打开网络传输通道；获取背景图像并直接显示；获取特征节点左边，获取人像多边形贴图，使用本机图像运算能力将贴图渲染在人像多边形上，显示人像图像。

还包括如下步骤：

输出客户端和接收客户端注册地址和状态，服务端维护在线客户端的地址和状态；

输出客户端提出获取接收客户端的地址和状态，接收客户端应答输出客户端的视频传输请求，服务端应答输出客户端和接收客户端的地址和状态。

在所述步骤6中，还包括接收客户端对整个图像进行美化渲染。