[发明专利]一种基于Kinect与WiFi数据联合的复杂环境中的行为识别的方法

说明书

本发明提出了一种基于Kinect与WiFi数据联合的复杂环境下目标行为识别方法。首先，本发明提出了一种基于Kinect的提取有效骨节数据特征的方法，能够有效地提取出骨节数据中能有效反映出人体各关节运动方向和幅度的特征。其次，采用了一种能够提取出CSI数据主要子载波特征的方法，能够聚类出能够反映出其主要变化趋势的子载波数据。最后，针对Kinect数据与WiFi数据维度不同不能直接联合的问题，对跨模态搜索中的特征对齐的方法进行改进，使其能够有效地将Kinect数据与WiFi数据联合并构建分类器进行目标行为识别。本发明设计的数据联合目标行为识别算法有效可靠，有效地解决了传统的Kinect识别系统在复杂的室内环境下(桌子、书柜、沙发等遮挡物较多)无法有效识别的问题，挖掘了在复杂环境下更多的应用潜力。

技术领域

本发明属于行为识别技术，具体涉及到Kinect和WiFi系统下，一种在复杂环境下，采用Kinect数据和WiFi数据的针对动态目标的行为识别方法。

背景技术

近年来，行为识别技术备受关注，人类活动的行为识别是社会生活、普适计算、安全监控等领域的一个重要研究课题。日常生活中的各种行为可以被认为是我们的一种特殊的交流方式，我们可以通过手臂，腿部和头等肢体语言进行交流，因此，我们从应用需求，技术支持，辅助设备等方面提出了活动识别系统。在现有的行为识别系统中，基于传感器的目标行为识别系统要求识别目标穿戴配备运动传感器等特殊设备。传感器获取的数据在可穿戴设备上本地处理或传输到服务器，服务器再对获取的数据进行处理。这种对已知目标的主动监测系统能达到90％的准确率，可以识别睡觉、坐下、行走和跑步等活动，然而，目标需要自身主动携带可穿戴传感设备，这是这种识别系统最大的局限性，尤其是对于老人，穿戴不便或由于健忘导致的未携带穿戴设备等的情况可能是致命的。虽然基于视频图像的识别系统可进行有效的目标行为识别，但必须具备视距条件才能进行行为识别是此类系统的主要限制，此外，基于视频图像的识别使用环境也受到很大限制，很容易受到遮挡、弱光等不良环境的影响。因此，我们提出了无线数据与图像数据联合目标行为识别的系统，无论是安全性还是稳定性相对于上述两种系统都更有优势。

在机器视觉领域中，关于行为识别的研究一直不断的进行着，从最初的人体检测和定位、人体运动跟踪，到现在的人体姿势识别、人体动作识别，甚至行为理解。研究起初，研究人员对普通的二维图像，包括灰度和彩色图像做了大量的研究，尽管设计出各种先进的图像处理算法，但是，仍无法避免一些噪声问题，如光照、颜色、纹理、遮挡等。在硬件技术和学术理论的推动下，学者们的目光不在局限于普通图像，而是寻找新的图像表达方式，如X光图像，红外图像，希望能从这些图像中挖掘出普通图像所未能表达的数据。进近几年来，深度图像也走进了研究人员的视野，图像中的每个像素表示场景中的某一个点到摄像机的距离，换句话说，深度图像可以直接从每个三维空间获得场景的三维数据，相比使用普通图像进行三位模拟，它帮助研究人员快速更方便的走进三维世界。实际上，深度图像也属于计算机视觉的研究范畴，只不过数据的表达方法有所不同，因此很多现有的图像处理算法是可以借鉴和扩展的。虽然深度图像虽然能解决普通图像所不能解决的很多问题，但遮挡问题依然存在。而在普通的家用无线网络中，当一个人在其覆盖区域内运动时，其行为会对Wi-Fi信号的传输信道环境造成一定程度的影响，而且CSI(Channel State Information)可以细粒化记录WiFi信号因环境变化而变化的情况，因此我们可以通过对CSI的分析获取更全面的覆盖区域内的目标活动情况。本发明提出了一种深度数据和CSI信息融合的行为识别的方法，由于微软的体感游戏设备Kinect结合OpenCV可以通过分析深度图像数据得到人体的骨节信息，本发明使用Kinect与WiFi相结合，可以有效在复杂环境中的进行目标行为识别。

发明内容

本发明的目的是在Kinect和WiFi系统下，提供一种基于Kinect数据和WiFi数据信息融合的方法，它能够在体感游戏设备Kinect在遇到遮挡的情况下，使用WiFi数据作为补充，提高行为识别系统在复杂坏境下的稳定性。

本发明所述的一种基于Kinect和WiFi的信息融合的行为识别方法，具体包括以下步骤：