[发明专利]结合5G、表情跟踪与美颜的VR实时通讯交互系统及方法

说明书

本发明公开了一种结合5G、表情跟踪与美颜的VR实时通讯交互系统及方法，该系统设有云端服务器、多个集群处理装置、多个通讯室和多个用户交互装置，云端服务器分别与多个集群处理装置连接，每个集群处理装置分别与邻近的多个用户交互装置连接，从而形成多个区域处理站，每个用户交互装置设置在相应的通讯室内，集群处理装置用于将面部模型与通用身体模型匹配结合得到用户模拟模型，通过云端服务器将用户模拟模型转发至已建立通信连接的通信方。本发明通过对建立通信交互的用户和环境进行建模并还原通信方的表情和姿态，以在交互上产生更强的代入感。

技术领域

本发明涉及虚拟现实技术领域，尤其涉及一种结合5G、表情跟踪与美颜的VR实时通讯交互系统及方法。

背景技术

VR是指虚拟现实技术，其主要采用多技术的融合方式，包括但不限于计算机视觉技术、广角显示技术、动态动作捕捉技术等，利用VR我们可以创建和体验依托计算机生成的模拟现实环境的虚拟环境，提供给人以视觉、听觉、触觉等多维度的感知信息，让人产生代入感。

近年来，随着VR技术的不断发展和创新，VR技术也在各个领域中得到了广泛的应用，如用于游戏娱乐方面，弥补游戏3D沉浸感的不足，也有用于医疗仿真训练领域，提供真实的医疗训练场景等；但总的来说，目前市面上大多数的VR使用场景都是基于单个用户的个人体验，缺乏多个用户的使用场景，也缺乏不同用户间的在线互动和实时沟通。此外，在如今的时代背景下，一种基于VR技术满足多用户使用场景的即时通讯与交互设备，相较于智能手机这一类即时通讯与交互设备，无疑能提供给用户以更多维度的感知信息，让用户有身临其境的感觉，且也满足分隔两地的不同用户的各种娱乐、通讯需求等。

而现有的基于VR即时通讯与交互设备的研究中，如街道电话亭式VR共享装置(专利申请号：CN202020822636.5)、一种基于VR的带看方法、装置及系统(专利申请号：CN202011182157.2)，前者仅为一种基于现有电话亭结合VR眼镜及少量传感器的即时通讯与交互设备，仅满足通讯需求而难以提供娱乐方面的内容，而后者仅提供虚拟场景。且当前大多数的专利中就较少以5G技术作为其主要的无线通信手段，难以满足多用户即时在线的需求。

发明内容

为了克服现有技术存在的缺陷与不足，本发明的第一目的在于提供一种结合5G、表情跟踪与美颜的VR实时通讯交互系统，该系统通过对建立通信交互的用户和环境进行建模并准确地还原通信方的表情和姿态，以在交互上产生更强的代入感，同时满足多用户通讯、娱乐等多方面需求。

本发明的第二目的在于提供一种结合5G、表情跟踪与美颜的VR实时通讯交互方法。

为了达到上述第一目的，本发明采用以下技术方案：

一种结合5G、表情跟踪与美颜的VR实时通讯交互系统，该系统设有云端服务器、多个集群处理装置、多个通讯室和多个用户交互装置，云端服务器分别与多个集群处理装置连接，每个集群处理装置分别与邻近的多个用户交互装置连接，从而形成多个区域处理站，每个用户交互装置设置在相应的通讯室内，所述用户交互装置包括第一图像采集装置、用户处理器、头戴式VR交互装置以及第一通信模块，所述用户处理器分别与第一图像采集装置、第一通信模块连接，第一通信模块还与集群处理装置连接，用户处理器通过第一通信模块与集群处理装置进行数据传输；

所述头戴式VR交互装置设有显示装置、第二图像采集装置、微电极片和第二通信模块，所述微电极片、显示装置、第二图像采集装置分别与第二通信模块连接，所述第二通信模块还与第一通信模块连接无线连接；

所述微电极片用于采集EOG信号；

所述第一图像采集装置用于采集包含用户肢体的环境图像，所述第二图像采集装置用于采集用户面部图像，所述第二图像采集装置设置在头戴式VR交互装置上；

所述用户处理器用于创建通用身体模型和面部模型，识别用户的姿态、表情得到姿态跟踪信息、表情识别类型，所述姿态信息包括头部姿态信息、手部姿态信息以及肢体姿态信息；