[发明专利]基于5G通信的虚拟形象直播方法及系统

说明书

本发明公开了一种基于5G通信的虚拟形象直播方法及系统，其中该方法包括以下步骤：对表演者的动作和声音进行实时捕捉，将捕捉数据通过基于5G通信的网络传送给服务端，其中所述表演者的动作包括肢体动作和表情动作；服务端根据所述动作捕捉数据处理得到虚拟形象模型相应的动作数据，并通过基于5G通信的网络发送给客户端；客户端在图形界面中根据所述动作数据实时渲染虚拟形象模型，并根据所述虚拟形象模型的位移和镜头设置渲染场景。本发明的实施例至少具有以下有益效果：加快捕捉数据的处理速度，优化直播效果，动态渲染场景；5G通信技术使得捕捉到的大量数据能及时的上传到服务器处理。

技术领域

本发明涉及虚拟形象直播技术，特别涉及一种基于5G通信的虚拟形象直播方法及系统。

背景技术

直播的火爆催生了各种直播形式，其中虚拟偶像直播就是新兴的表现形式，逐渐受到了人们的喜爱和追捧。

但是现有的虚拟偶像直播受限于动作捕捉数据处理速度，使得直播中背景简单或固定不动，虚拟偶像也多限定于人类形象，内容比较单调，观赏性不佳。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于5G通信的虚拟形象直播方法，能够加快处理数据，进而丰富直播内容，提高观赏性。

本发明还提出一种采用上述基于5G通信的虚拟形象直播方法的基于5G通信的虚拟形象直播系统。

根据本发明的第一方面实施例的基于5G通信的虚拟形象直播方法，包括以下步骤：S100，对表演者的动作和声音进行实时捕捉，将捕捉数据通过基于5G通信的网络传送给服务端，其中所述表演者的动作包括肢体动作和表情动作；S200，所述服务端根据所述动作捕捉数据处理得到虚拟形象模型相应的动作数据，并通过基于5G通信的网络发送给客户端；S300，所述客户端在图形界面中加载场景及所述虚拟形象模型，根据所述动作数据实时渲染所述虚拟形象模型，并根据所述虚拟形象模型的位移和镜头设置渲染场景。

根据本发明实施例的基于5G通信的虚拟形象直播方法，至少具有如下有益效果：采集到的捕捉数据交由服务器统一处理转换为虚拟形象的动作数据，能加快捕捉数据的处理速度，优化直播效果，并可以进一步的处理非人类形象的虚拟形象模型，动态渲染场景；5G通信技术使得捕捉到的大量数据能及时的上传到服务器处理。

根据本发明的一些实施例，所述肢体动作和所述表情动作均由穿戴或贴附在表演者身上若干个的动作捕捉装置来采集。肢体动作和表情动作均由动作捕捉装置采集，动捕数据更精确，虚拟形象模型也就流畅自然。

根据本发明的一些实施例，所述肢体动作由穿戴或贴附在表演者身上若干个的动作捕捉装置来采集；所述表情动作由摄像头采集，获取包含脸部信息的图片或视频数据发送给服务端。肢体动作处理相对简单，需要的动作捕捉装置也较少只需要关节部位部署就可以；表情动作则需要较多的动作捕捉装置。摄像头采集表情画面，降低了成本。

根据本发明的一些实施例，所述步骤S200包括：S210,根据所述动作捕捉装置的位置，确定所述虚拟形象模型相应的骨骼；S220，根据预设的规则，判断所述捕捉数据的动作合理性，简化处理并转化生成所述骨骼的相应骨骼动画数据。脸部动作和肢体动作都可以通过动作捕捉装置的采集数据进行转换，转换的数据经过合理性判断和简化处理，能更自然地融合为虚拟形象模型的动作，提升观感，减少冗余动作；更一步可以支持非人类形象的虚拟形象模型。

根据本发明的一些实施例，所述步骤S200还包括：S230，提取图片或视频数据中的脸部表情特征，根据预设的映射关系，得到所述虚拟形象模型对应的表情动画数据；S240，根据声音中的特征数据，得到所述虚拟形象模型对应的口型变化数据。根据特征提取，映射得到面部相关数据，提供了另一种转换为虚拟形象模型的动作表现的方法，减少了动捕中脸部庞大数量的计算量。