[发明专利]基于深度图像的旗语识别方法及装置

摘要

本发明公开一种基于深度图像的旗语识别方法及装置，方法包括(10)根据人体动作深度图像，将人体与背景进行分割，对人体区域逐步细化，提取人体骨架线；(20)基于关节点空间关系人体模型，利用人体骨架线对人体手臂动作进行描述；(30)根据由大臂、小臂、手腕三个基本分量构成的手臂不同空间位置及运动轨迹定义手臂姿态模式；(40)通过手臂姿态模式与旗语库中的预定义动作模式的匹配，将与该手臂姿态模式最接近的预定义动作作为该人体动作对应的旗语。装置包括人体骨架特征提取单元、人体动作描述单元、手臂姿态模式定义单元和旗语识别单元。本发明方法及装置，受环境因素影响小，实时性好，识别率高。

主权项

一种基于深度图像的旗语识别方法，包括如下步骤：(10)人体骨架特征提取：根据人体动作深度图像，将人体与背景进行分割，对人体区域逐步细化，提取人体骨架线；(20)人体动作描述：基于关节点空间关系人体模型，利用人体骨架线对人体手臂动作进行描述；(30)手臂姿态模式定义：根据由大臂、小臂、手腕三个基本分量构成的手臂不同空间位置及运动轨迹定义手臂姿态模式；(40)旗语识别：通过手臂姿态模式与旗语库中的预定义动作模式的匹配，将与该手臂姿态模式最接近的预定义动作作为该人体动作对应的旗语；所述(10)人体骨架特征提取步骤包括：(11)图像分割：在深度图中，使用直接阈值分割的方法对人体区域与背景进行分割；(12)骨架提取：通过腐蚀运算和开运算，逐步将图像边界向内缩小，最终形成骨架效果，如下式，thin1=X⊗{B1}---(1),]]>think⊗{Bk+1}≠Φ---(2),]]>think+1=think⊗{Bk+1}---(3),]]>式中，X为人体分割区域图，B为腐蚀运算的结构算子；k代表A细化的次数，think表示第k次细化的结果；所述(20)人体动作描述步骤包括：(21)头颈部节点确定：根据人体骨架线，确定骨架线顶点为人体头部节点、两肩部连线与头部连线交叉点为颈部节点；(22)肩部节点确定：根据肩部节点以颈部节点为中点，肩部的长度为颈部长度的3/2，确定左、右肩节点；(23)肘部节点确定：根据上臂长度为肩宽的2/3，确定肘部节点；(24)手部节点确定：根据小臂长度为肩宽的5/9，确定手部节点；所述(30)手臂姿态模式定义步骤中，小臂长度lf表示为：lf=(xh-xe)2+(yh-ye)2+(zh-ze)2---(4),]]>大臂长度lU表示为：lu=(xe-xs)2+(ye-ys)2+(ze-zs)2---(5),]]>式中，(xh,yh，zh)为手部节点坐标，(xe,ye，ze)为肘部节点坐标，(xs,ys，zs)为肩部节点坐标；其特征在于，所述(40)旗语识别步骤具体为：由一个或两个窗口形成判别区域，将手臂姿态模式与旗语库中的预定义动作模式的匹配，以与该手臂姿态模式最接近的预定义动作作为该人体动作对应的旗语，其中，肘部坐标点的窗口如下式，|xe-(xs+lucosθuk)|≤αe2|ye-(xs+lusinθuk)|≤βe2---(6),]]>手部坐标点的窗口如下式：|xh-(xe+lfcosθfk)|≤αh2|yh-(xe+lfsinθfk)|≤βh2---(7),]]>其中，α是常量，β为规定信号格式的试验边界值，θuk为肩部角度，θfk为肘部角度，(θuk,θfk)为旗语动作信号模式，k为信号模式种类。