[发明专利]一种虚拟即时通信方法

权利要求书

1.一种虚拟即时通信方法，其特征在于，包括：

第一用户通过第一客户端选择或实时生成代表第一用户的虚拟2D/3D形象模型，并发起对第二用户的会话；

第二用户接受第一用户的会话请求，与第一用户建立会话连接，连接后，代表双方的虚拟2D/3D形象模型将会在通信的另一方呈现，第二用户可以提前设置或实时生成代表第二用户的虚拟2D/3D形象模型；

第一客户端、第二客户端分别通过各自设备的摄像头实时捕获各自用户的面部图像或特征；

第一客户端、第二客户端分别录制各自用户发出的声音，将同一时刻的声音与面部图像或特征打包，发送到对方客户端，实现声音与表情的同步；

第一客户端接收第二客户端发送的数据包，根据数据播放第二用户的声音并操纵代表第二用户的虚拟2D/3D形象模型做出对应表情；第二客户端接收第一客户端发送的数据包，根据数据播放第一用户的声音并操纵代表第一用户的虚拟2D/3D形象模型做出对应表情。

2.根据权利要求1所述的一种虚拟即时通信方法，其特征在于，

所述第一用户通过第一客户端选择或实时生成代表第一用户的虚拟2D/3D形象模型，包括：

如果第一用户选择自行上传代表第一用户的虚拟2D/3D形象模型，第一用户在第一客户端将含有表情动画的虚拟2D/3D形象模型上传到服务器进行有效性验证；如果第一用户上传的虚拟2D/3D形象模型通过了有效性验证，用户则能够使用该虚拟2D/3D形象模型实时模拟第一用户的面部表情，否则服务器向第一客户端发送与该错误信息相对应的提示信息，提示第一用户上传失败；

如果第一用户选择实时生成代表第一用户的虚拟2D/3D形象模型，调用第一客户端的摄像头拍摄任意人物面部图片或者从第一客户端的本地相册中选取含有任意人物面部的图片，将图片上传到服务器；服务器从面部图片中提取二维特征，构建与图片对应的虚拟2D/3D形象模型；找到重建后的虚拟2D/3D形象模型与面部纹理之间的映射关系，实现纹理映射，得到一个上传图片中人物的虚拟2D/3D形象模型；

如果第一用户选择从服务器上虚拟2D/3D形象模型库中选择代表第一用户的虚拟2D/3D形象模型，将服务器上虚拟2D/3D形象模型库中的模型发送到第一客户端，第一客户端加载并展示这些虚拟2D/3D形象模型，供第一用户选择使用。

3.根据权利要求2所述的一种虚拟即时通信方法，其特征在于，进一步包括：

根据实时生成的虚拟2D/3D形象模型生成对应的表情动画，将含有表情动画的虚拟2D/3D形象模型存储到虚拟2D/3D形象模型库中。

4.根据权利要求1所述的一种虚拟即时通信方法，其特征在于，

所述第一客户端与第二客户端分别录制各自用户发出的声音，将同一时刻的声音与面部图像或特征打包，发送到对方客户端，实现声音与表情的同步，包括如下步骤：

将面部图像或特征放入表情数据队列，若不存在表情数据队列则创建该队列；

通过客户端的录音设备采集声音，将采集的声音放入声音数据队列，若不存在声音数据队列则创建该队列；

每一帧都从表情数据队列与声音数据队列中取出队首元素，将其进行数据编码，设置能够表示先后顺序的标识并存入数据包中，并通过服务器将该数据包传送到指定的客户端。

5.根据权利要求1所述的一种虚拟即时通信方法，其特征在于，

所述第一客户端接收第二客户端发送的数据包，根据数据播放第二用户的声音并操纵代表第二用户的虚拟2D/3D形象模型做出对应表情，包括如下步骤：

第一客户端检测是否存在数据包队列，若不存在则创建该队列；将第一客户端接收的数据包按标识顺序存入数据包队列中；

第一客户端取出数据包队列的队首数据包并解析，播放队首数据包中的声音数据，并将数据包中的面部图像或特征转换为表情动画的参数，利用参数操纵表情动画，使得第二客户端呈现的虚拟2D/3D形象模型做出与第一用户相同的表情。

6.一种虚拟即时通信系统，其特征在于，包括：

人脸特征标定模块，用于提取图像、视频中人脸的特征，从而得到人脸结构的表征；

虚拟形象重建模块，用于重建出和输入源中人脸结构相同的虚拟形象，之后再生成虚拟形象对应的表情动画；

虚拟形象驱动模块，用于根据获取到的人脸特征数据，将其转化为表情动画参数，驱动虚拟形象模型做出与人脸特征数据对应的动作；

数据传输模块，用于设置声音与表情数据的队列，将同一时刻的声音与表情数据打包发送。