[发明专利]一种人脸跟踪视频聊天方法、系统及存储介质

说明书

本发明公开了一种人脸跟踪视频聊天方法、系统及存储介质，所述方法包括：捕捉设备采集视频图像，对所述视频图像进行人脸识别输出识别结果，根据所述识别结果对人脸区域进行处理，生成编码视频帧，并发送给聊天设备；聊天设备获取当前会话中设备列表，拉取远端设备客户端的视频流，同时获取捕捉设备的本地视频流，并将视频流发送到播放器中进行解码播放。本发明实现了视频画面在可视范围内跟随人脸移动的效果，音视频数据通过打洞服务在会话请求的设备间直接建立会话，克服了视频数据经服务器转发的成本较高,以及可容纳同时在线聊天设备数目受限制的问题。

技术领域

本发明涉及计算机应用技术领域，尤其涉及一种人脸跟踪视频聊天方法、系统及存储介质。

背景技术

在视频聊天应用中，可以实现自动跟踪用户移动，连接于计算设备的捕捉设备捕捉其视野中的用户，并标识出标识捕捉区域的捕捉帧中的用户的头部、颈部和肩部的位置的像素子帧，该像素子帧被显示给远程计算设备处正在参与同用户的视频聊天的远程用户；当用户移动到捕捉区域内的下一位置时，该捕捉设备自动跟踪用户的头部、颈部和肩部的位置；标识在下一位置的用户的头部、颈部和肩部的下一像素子帧被标识并显示给远程计算设备处的远程用户。

面部识别引擎位于计算设备(同时也是显示设备)中，而不是集成到捕捉设备，应用场景受限，通常视频会议或智能电视等视频聊天终端设备比捕捉设备昂贵，设备更新换代成本也较高；计算设备需要识别头部、颈部、肩部等多个部位，对计算设备的NPU算力、I/O性能等要求较高，生产成本高昂；多个部位的检测识别需加载使用多个不同算法模型，所有模型运算完成后得到当前图像帧完整的标识信息，再应用到下一图像帧，造成NPU输入图像帧率受限，可能标记延迟、错位、错误等问题；视频技术从高清向超高清演进，实时音视频数据量很大，通过服务器转发到其它设备，服务器CPU，内存等计算资源开销、网络带宽以及网络流量等成本高昂；数据经服务器中转，容易画面延迟、卡顿严重；容纳同时在线视频聊天终端数量也受限。

因此，现有技术还有待于改进和发展。

发明内容

本发明的主要目的在于提供一种人脸跟踪视频聊天方法、系统及存储介质，旨在解决现有技术中人脸跟踪视频聊天的场景受限，以及成本较高的问题。

为实现上述目的，本发明提供一种人脸跟踪视频聊天方法，应用于人脸跟踪视频聊天系统，所述人脸跟踪视频聊天系统包括捕捉设备和聊天设备，所述人脸跟踪视频聊天方法包括如下步骤：

捕捉设备采集视频图像，对所述视频图像进行人脸识别输出识别结果，根据所述识别结果对人脸区域进行处理，生成编码视频帧，并发送给聊天设备；

聊天设备获取当前会话中设备列表，拉取远端设备客户端的视频流，同时获取捕捉设备的本地视频流，并将视频流发送到播放器中进行解码播放。

所述的人脸跟踪视频聊天方法，其中，所述捕捉设备采集视频图像，对所述视频图像进行人脸识别输出识别结果，根据所述识别结果对人脸区域进行处理，生成编码视频帧，并发送给聊天设备，具体包括：

按照默认配置帧率采集视频图像；

获取YUV帧，输入到人脸识别算法模型中以输出识别结果；

根据所述识别结果计算当前视野范围内的人脸所在区域，对人脸区域进行外扩处理，应用到下一帧图像，进行裁剪和缩放处理；

获取YUV帧，将所述YUV帧输入到编码器中进行视频编码，生成编码视频帧，并发送给所述聊天设备。

所述的人脸跟踪视频聊天方法，其中，所述聊天设备获取当前会话中设备列表，拉取远端设备客户端的视频流，同时获取捕捉设备的本地视频流，并将视频流发送到播放器中进行解码播放，具体包括：

向打洞服务器发送点对点连接请求，获取会话请求中客户端的公网IP和端口号以及内网IP和端口号；