[发明专利]一种基于动态3D手写数字识别的虚拟人交互系统及方法

摘要

本发明公开了一种基于动态3D手写数字识别的虚拟人交互系统及方法，所述系统包括手势与数字识别模块、中央服务器模块与虚拟人控制模块，所述手势与数字识别模块用于提取手部区间，识别手势及手写轨迹；所述中央服务器模块用于连接手势与数字识别模块和虚拟人控制模块，实现数据的采集，传输和命令发送；所述虚拟人控制模块为在实际中与人进行互动的载体，展示出虚拟人，根据从中央服务器模块接受来的命令，对虚拟人进行动作、语言、表情等操控，实现与人的交互，该系统将空中手写数字识别技术与虚拟人交互技术进行结合，为人们提供了一种更加生动有趣的交互方式。

主权项

1.一种基于动态3D手写数字识别的虚拟人交互系统，其特征在于：包括手势与数字识别模块、中央服务器模块与虚拟人控制模块，所述手势与数字识别模块用于提取手部区间，识别手势及手写轨迹；所述中央服务器模块用于连接手势与数字识别模块和虚拟人控制模块，实现数据的采集，传输和命令发送；所述虚拟人控制模块为在实际中与人进行互动的载体，展示出虚拟人，根据从中央服务器模块接受来的命令，对虚拟人进行动作、语言、表情操控，实现与人的交互；所述手势与数字识别模块中采用Kinect作为传感器；所述中央服务器模块的搭建是基于RPC‑Thrift架构，在该架构中，定义统一的传输数据变量，包括识别的手势与数字以及对虚拟人的动作、语言控制，运用Thrift代码生成器编译成C++和Python的客户端与服务端服务代码框架，接着运用Python运行服务器端的代码搭建起电脑本地端的服务器，并运用决策树设计出基于手势与数字识别结果的虚拟人控制决策架构；所述虚拟人控制模块搭建虚拟人是基于smartbody系统结合ogre游戏引擎，结合3D‑Max建模软件和motion Builder动作设计软件，对于复杂动作的设计，采用Kinect获取真人骨架信息嵌套到虚拟人上的方法来完成，并通过Python语言进行行为动作、语言、表情的控制。