[发明专利]一种人脸跟踪视频聊天方法、系统及存储介质

权利要求书

1.一种人脸跟踪视频聊天方法，应用于人脸跟踪视频聊天系统，所述人脸跟踪视频聊天系统包括捕捉设备和聊天设备，其特征在于，所述人脸跟踪视频聊天方法包括：

捕捉设备采集视频图像，对所述视频图像进行人脸识别输出识别结果，根据所述识别结果对人脸区域进行处理，生成编码视频帧，并发送给聊天设备；

聊天设备获取当前会话中设备列表，拉取远端设备客户端的视频流，同时获取捕捉设备的本地视频流，并将视频流发送到播放器中进行解码播放。

2.根据权利要求1所述的人脸跟踪视频聊天方法，其特征在于，所述捕捉设备采集视频图像，对所述视频图像进行人脸识别输出识别结果，根据所述识别结果对人脸区域进行处理，生成编码视频帧，并发送给聊天设备，具体包括：

按照默认配置帧率采集视频图像；

获取YUV帧，输入到人脸识别算法模型中以输出识别结果；

根据所述识别结果计算当前视野范围内的人脸所在区域，对人脸区域进行外扩处理，应用到下一帧图像，进行裁剪和缩放处理；

获取YUV帧，将所述YUV帧输入到编码器中进行视频编码，生成编码视频帧，并发送给所述聊天设备。

3.根据权利要求2所述的人脸跟踪视频聊天方法，其特征在于，所述聊天设备获取当前会话中设备列表，拉取远端设备客户端的视频流，同时获取捕捉设备的本地视频流，并将视频流发送到播放器中进行解码播放，具体包括：

向打洞服务器发送点对点连接请求，获取会话请求中客户端的公网IP和端口号以及内网IP和端口号；

获取当前会话中设备列表，拉取远端设备客户端的视频流，并发送给播放器；

获取到会话状态以及设备列表，获取会话中设备的视频流并解码得到YUV帧；

根据会话设备列表和状态，绘制播放显示窗口，将获取的YUV帧转换为RGB数据，并渲染到对应播放窗口。

4.根据权利要求2所述的人脸跟踪视频聊天方法，其特征在于，所述根据所述识别结果计算当前视野范围内的人脸所在区域，对人脸区域进行外扩处理，应用到下一帧图像，进行裁剪和缩放处理，之后还包括：

当前视野范围内若无人出现，且上一次人脸跟踪动作的时间到期时，则恢复到原图预览。

5.根据权利要求3所述的人脸跟踪视频聊天方法，其特征在于，所述向打洞服务器发送点对点连接请求，之前还包括：

在用户呼出或被呼过程触发打洞服务，初始化与打洞服务器的连接。

6.根据权利要求3所述的人脸跟踪视频聊天方法，其特征在于，所述向打洞服务器发送点对点连接请求，获取会话请求中客户端的公网IP和端口号以及内网IP和端口号，之后还包括：

所述聊天设备上的本机客户端建立起与当前会话请求中的客户端的直接会话，并更新会话中的设备列表。

7.根据权利要求3所述的人脸跟踪视频聊天方法，其特征在于，所述获取当前会话中设备列表，拉取远端设备客户端的视频流，并发送给播放器，之后还包括：

通过UVC协议触发所述捕捉设备采集视频，保存采集的视频帧，送入播放器对应的内存池中，同时推流至会话中的远端聊天设备客户端。

8.根据权利要求1所述的人脸跟踪视频聊天方法，其特征在于，所述识别结果为人脸脸部特征的描述信息。