[发明专利]一种基于图像分割的视频会议系统编码传输方法

权利要求书

1.一种基于图像分割的视频会议系统编码传输方法，其特征在于，包括以下步骤：

步骤1，编码端对摄像头采集的图像序列进行实时编码并传输给解码端，具体包括：

步骤1.1，当编码流程开始时，变化域值调节模块根据实时检测到的网络条件，对预先设定的变化域值进行实时调节，从而得到与当前网络条件相适配的图像单元变化域值d；

编码端实时接收摄像头采集的原视频图像序列；所述原视频图像序列由多个图像帧按次序组成；其中，每个图像帧均具有唯一的图像帧序列号；图像帧序列号从1开始逐渐增加；

步骤1.2，每当编码端接收到图像帧i时，其中，i为图像帧序列号，编码端对图像帧i进行人脸识别，检测出图像帧i的人脸区域，然后，根据人脸区域，将图像帧i分割成人脸图像A_i和背景图像B_i，同时得到人脸图像A_i在背景图像B_i上面的位置信息P_i；

步骤1.3，对于人脸图像A_i，编码端对人脸图像A_i进行视频压缩编码，得到人脸图像码流M_ai；然后将人脸图像码流M_ai和位置信息P_i打包，得到人脸图像码流数据包E_i，并将人脸图像码流数据包E_i传输给解码端；

对于背景图像B_i，编码端判断当前的背景图像B_i对应的图像帧序列号i是否为1，如果等于1，则编码端对背景图像B_i进行视频压缩编码，得到背景图像码流M_bi；然后将背景图像码流M_bi和位置信息P_i打包，得到背景图像码流数据包F_i，并将背景图像码流数据包F_i传输给解码端；

如果不等于1，则编码端比较背景图像B_i与前一帧的背景图像B_i-1，得到背景图像变化程度，并判断背景图像变化程度是否超过步骤1.1实时得到的图像单元变化域值d，如果不超过，则背景图像B_i不满足编码条件，对背景图像B_i不进行编码处理，也不发送给解码端；如果超过，则对背景图像B_i进行视频压缩编码，得到背景图像码流M_bi；然后将背景图像码流M_bi和位置信息P_i打包，得到背景图像码流数据包F_i，并将背景图像码流数据包F_i传输给解码端；

步骤2，解码端对接收到的来自于编码端的人脸图像码流数据包E_i和背景图像码流数据包F_i进行解码操作，具体包括：

步骤2.1，当解码端接收到来自于编码端的第1个背景图像码流数据包F_j时，其中，j为第1个背景图像码流数据包对应的图像帧序列号，解码端对背景图像码流数据包F_j进行视频解码操作，得到解码背景图像G_j以及对应的位置信息P_j；并在本地存储单元中保存解码背景图像G_j以及对应的位置信息P_j；

后续过程中，只要解码端接收到来自于编码端的其他图像帧序列号的背景图像码流数据包F_v，其中，v为其他的图像帧序列号，v≠j，解码端即对背景图像码流数据包F_v进行视频解码操作，得到解码背景图像G_v以及对应的位置信息P_v；并用新解码得到的解码背景图像G_v以及对应的位置信息P_v更新本地存储单元中已存储的解码背景图像以及对应的位置信息；

步骤2.2，当解码端接收到来自于编码端的人脸图像码流数据包E_i时，解码端对人脸图像码流数据包E_i进行视频解码操作，得到解码人脸图像H_i以及对应的位置信息P_i；

然后，解码端从本地存储单元读取到最新的解码背景图像以及对应的位置信息，假设最新的解码背景图像为G_w，对应的位置信息为P_w，其中，w为最新的解码背景图像对应的图像帧序列号；

然后，将解码人脸图像H_i按照位置信息P_i叠加到解码背景图像G_w的相应位置，得到初始的图像帧S'_i；

步骤2.3，比较位置信息P_i与位置信息P_w的差异，得到解码背景图像G_w中未被解码人脸图像H_i覆盖的空白人脸区域；然后，采用相邻像素图像处理方法，对空白人脸区域进行相邻像素填充，从而得到最终的完整图像帧S_i；

步骤2.4，显示完整图像帧S_i。