[发明专利]一种人体动作识别的增强现实系统及方法

说明书

本发明提供了一种人体动作识别的增强现实交互方法，包括以下步骤：S1，采用图像采集装置对人体的肢体图像进行采集；S2，通过智能处理终端对采集的人体肢体图像进行处理，并将图像采集装置获得的现实真实图像传输给图像显示装置；S3，通过智能处理终端，对所述肢体图像进行人体轮廓及关节特征点进行识别提取；S4，通过智能处理终端，将所述特征点进行真伪优化；S5，通过智能终端，虚拟特效，对虚拟模型的方位进行处理；S6，将所述虚拟模型传输给图像显示装置。本发明通过采用单目摄像机与智能处理终端连接，降低了硬件系统的成本，还通过系统内预设模型与图像采集装置采集的现实真实图像进行绑定，使得用户获得良好的沉浸式体验。

技术领域

本发明涉及一种人机交互系统，尤其涉及一种人体动作识别的增强现实系统。

背景技术

人体动作识别是近年来计算机视觉领域的一个研究热点，尤其是在人机交互、虚拟增强现实等领域应用广泛。但是目前现有的人体动作识别应用多为体感游戏，显示屏幕中展示的是纯虚拟场景，与现实中的真实影像没有交互结合，缺少沉浸感。

同时，目前捕捉人体动作的主流设备大多是Kinect设备，Kinect设备采用TOF(Time of flight)原理，该设备通过向待识别目标发送连续的激光脉冲，然后通过传感器接受返回的光，计算相应的相位差，从而判断待识别目标的方位。Kinect设备具有较高的精度、灵敏度和分辨率，但是其检测距离有限，对使用环境的要求较高，同时通过Kinect设备采集的影像也没有与现实中的真实影像结合。此外，Kinect设备成本较高，需要特殊的连接接口，降低了设备的通用性能。

鉴于现有的行为肢体识别技术中的缺陷，亟需一种可以有效识别人体行为肢体、提高用户体验、成本较低、通用性更好的解决方案。

发明内容

本发明的目的在于提出一种新的人体动作识别的增强现实系统，以有效识别人体行为肢体，提高用户体验，降低成本，形成更好的通用性。

一方面，本发明提出了一种人体动作识别的增强现实系统。该系统包括：图像采集装置、智能处理终端以及图像显示装置。其中，图像采集装置包括单目摄像机；智能处理终端包括数据输入单元、系统控制和调度单元、数据处理和计算单元、图像输出单元。

进一步地，单目摄像机可以采用单目UVC摄像机，所述摄像机采集的数据通过USB传递至智能处理终端，通过UVC协议实现在Linux、Windows、Mac os操作系统的电脑上的即插即拔。此外，所述摄像机采集的数据还可以通过wifi模块或者蓝牙模块传输至智能处理终端。

进一步地，智能处理终端可以采用安卓系统的主板，由USB接口输入，通过系统控制和调度单元对系统资源进行分配和调度，以提高整个系统的运行速度。所述采集到的数据经 USB接口输入至智能处理终端后，由图像处理和计算单元进行处理，最终经图像输出单元传输至图像显示装置。

进一步地，图像输出单元可以选择为HDMI输出电路。

另一方面，本发明还提供了一种人体动作识别的增强现实交互方法。该方法包括以下步骤：

S1，采用图像采集装置对人体的肢体图像进行采集；

S2，通过智能处理终端对采集的人体肢体图像进行处理，并将图像采集装置获得的现实真实图像传输给图像显示装置；

S3，通过智能处理终端，对所述肢体图像进行人体轮廓及关节特征点进行识别提取；

S4，通过智能处理终端，将所述特征点进行真伪优化；

S5，通过智能终端，虚拟特效，对虚拟模型的方位进行处理；

S6，将所述虚拟模型传输给图像显示装置。

其中，S1步骤中，按帧数采集图像，形成一组序列。