[发明专利]一种车载随动虚拟形象视频会议系统及控制方法

说明书

本发明涉及一种车载随动虚拟形象视频会议系统及控制方法，所述系统包括：车内摄像头、控制器、CSC、TBOX、显示屏和RTN网络；车载视频发出车辆上的车内摄像头对车内图像进行采集，将采集的图像通过控制器传输到CSC，CSC将图像发送至TBOX和显示屏或CSC将图像建模后发送至TBOX和显示屏，TBOX将图像或建模后的图像发送至RTN网络，RTN网络将图像或建模后的图像发送至车载视频接收车辆。本发明通过一系列AI技术和SLAM相关技术实现了虚拟世界中的虚拟形象可以和现实世界中的人物头像可以实现动作和表情随动，实现了虚拟世界和真实世界的联动。利用定制化的编码技术将用户特征和音视频同时进行压缩，保证了音视频和虚拟形象的同步性。

技术领域

本发明涉及智能通讯技术领域，具体涉及一种车载随动虚拟形象视频会议系统及控制方法。

背景技术

随着经济发展和人们生活水平的不断提高，汽车不仅是人们的代步工具，其发展也越来越多元化，座舱提供给人们更多的个性化和娱乐化体验，人们的生活节奏越来越快，很多时候需要在路途中进行紧急会议，传统手机会议会导致驾驶员分神且操作不便，增加了安全隐患，如何摆脱传统的交互方式，实现车内与车外、车与车之间的实时交互是我们要解决的问题。

发明内容

因此，本发明要解决的技术问题在于解决人们无法实现车内与车外、车与车之间的实时交互的问题，从而提供一种车载随动虚拟形象视频会议系统及控制方法。

一种车载随动虚拟形象视频会议系统，其特征在于，包括：车内摄像头、控制器、CSC、TBOX、显示屏和RTN网络；

车载视频发出车辆上的车内摄像头对车内图像进行采集，将采集的图像通过控制器传输到CSC，CSC将图像发送至TBOX和显示屏或CSC将图像建模后发送至TBOX和显示屏，TBOX将图像或建模后的图像发送至RTN网络，RTN网络将图像或建模后的图像发送至车载视频接收车辆，音视频和特征点通过RTC中的音视频通道进行传输，保证传输整体的低时延特性。

进一步，所述控制器为IMS控制器和RMS控制器。

进一步，所述CSC包括人脸识别系统、特征识别系统、编码器、解码器、动态渲染系统和虚拟形象库。

进一步，所述RTN网络与智能设备连接。

一种车载随动虚拟形象视频会议系统的控制方法，包括以下步骤：

步骤一：车载视频发出车辆上的车内摄像头对车内图像进行采集，并并通过IMS和RMS传输到CSC内部，此时图像为原始形象；

步骤二：在CSC内部通过算法提取画面中的人脸；

步骤三：通过LBF模型对人脸图像中面部关键点进行提取，根据特征点通过预设模型的3D控制点与人脸图像中提取的面部2D关键点构建PnP 问题，然后使用DLT算法求解估计头部姿态；

步骤四：通过计算面部关键点的2D平面距离控制预设模型控制点间的 3D距离，用户在虚拟形象库选择形象并进行渲染，得到与真实世界并行随动的虚拟形象；

步骤五：将特征值的点位信息和视频信息同步进行压缩编码，并传输到TBOX中进行发送；

步骤六：TBOX中通过对带宽进行预测，自适应相关算法进行发送组包；

步骤七：车载视频接收车辆通过TBOX进行接收，并在CSC中进行解码出原始视频和特征点；

步骤八：车载视频接收车辆选择虚拟图像库中的形象，并对形象进行渲染。

进一步，车载视频发出车辆和车载视频接收车辆用户都可以选择原始形象或者虚拟形象在显示屏进行显示。

进一步，所述步骤二中通过HaarCascade算法提取画面中的人脸。