[发明专利]一种针对单一深度图像的3D人体姿态估计算法有效

专利信息
申请号: 201711406248.8 申请日: 2017-12-22
公开(公告)号: CN108154176B 公开(公告)日: 2021-11-05
发明(设计)人: 蔡轶珩;王雪艳;孔欣然;马杰;李媛媛 申请(专利权)人: 北京工业大学
主分类号: G06K9/62 分类号: G06K9/62;G06T7/50
代理公司: 北京思海天达知识产权代理有限公司 11203 代理人: 刘萍
地址: 100124 *** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要: 发明公开一种基于单一深度图像的3D人体姿态估计方法。首先提出改进型特征提取办法,综合利用部位尺寸信息和距离变换信息,来指导深度梯度特征提取,可极大增强所提特征的表达能力;为解决随机森林部位分类时存在的误分类问题,提出误分类处理机制—多级随机森林整合算法来去除部位误分点,获得更为准确的部位识别结果;通过改进PDA,利用位置权重阈值处理办法,使能够利用识别的部位尺寸信息,自适应的再次去除部位中的干扰点,从而获得更为准确的主方向向量;最后利用人体部件配置关系得到姿态估计结果。本发明改善了部位分类模型的准确率,并能有效去除识别部位中的误分类干扰点,提高识别部位的准确性,最终获得更为准确的3D人体姿态估计结果。
搜索关键词: 一种 针对 单一 深度 图像 人体 姿态 估计 算法
【主权项】:
基于单一深度图像的3D人体姿态估计方法,其特征在于,包括以下步骤:(1)、合成图像合成身体部位带标签的深度图像数据库,实验中将图像归一化为225*300;(2)、特征提取2.1)均匀抽取每幅图像的的像素样本;2.2)将深度图像像素值大小按比例归一化到0~1000之间,其中背景设为1000,人体信息在0~1000之间;2.3)计算深度人体像素x位置的特征MGoDθ=(u,v)(x),MGoDθ=(u,v)(x)=dI(x+xu)‑dI(x+xv)θ=(u,v)为单位偏移向量对,xu=u*q和xv=v*q为偏移向量,q为偏移量,x+xu和x+xv为像素点x分别经向量xu和xv偏移后的像素点位置,dI(x+xu)和dI(x+xv)为像素点x分别经偏移向量xu和xv偏移后的像素点的深度值;其中偏移量q,本发明综合考虑了部位尺寸和距离信息因素,通过部位最小矩形方法,分别包含身体各个部位,计算其最小矩形斜边η11),作为偏移量q计算的部位尺寸信息,其中q计算公式如下<mrow><msup><mi>q</mi><mrow><mo>(</mo><msub><mi>&zeta;</mi><mn>1</mn></msub><mo>)</mo></mrow></msup><mo>=</mo><mrow><mo>(</mo><mn>1</mn><mo>-</mo><mfrac><mrow><mi>m</mi><mi>i</mi><mi>n</mi><mrow><mo>(</mo><msub><mi>d</mi><mi>I</mi></msub><mo>(</mo><mo>&CenterDot;</mo><mo>)</mo><mo>)</mo></mrow></mrow><mn>1000</mn></mfrac><mo>)</mo></mrow><mo>*</mo><mfrac><mrow><msub><mi>&eta;</mi><mn>1</mn></msub><mrow><mo>(</mo><msub><mi>&zeta;</mi><mn>1</mn></msub><mo>)</mo></mrow></mrow><mn>2</mn></mfrac><mo>,</mo><msub><mi>&zeta;</mi><mn>1</mn></msub><mo>=</mo><mn>1</mn><mo>,</mo><mn>2</mn><mo>...</mo><mi>m</mi></mrow>深度图像I包含m个身体部位,表示第ζ1个身体部位对应的偏移量值,dI(·)表示深度图像I的人体信息中某像素点的深度值,min(dI(·))表示深度人体像素点的深度最小值,η11)为第ζ1个身体部位的最小矩形斜边;(3)、分类识别在部位融合基础上,将上述提取到的特征输入到随机森林中训练分类器进行分类识别;训练阶段:训练部位分类模型,其中部位特征提取的偏移量采用所有训练样本各部位的均值;测试阶段:利用部位分类模型分类识别身体部位,其中部位特征提取的偏移量采用所有训练样本偏移量的均值;其中训练图像和测试图像均归一化为225*300;(4)、误分类处理机制上述分类识别时,偏移量的选择在训练阶段和测试阶段之间有所不同,使得在随机森林训练阶段和测试阶段提取的特征的表达信息出现偏差,并且使用随机森林分类模型获得的分类结果与特征提取时偏移量的选择有关,特别是误分类点,因而本发明提出误分类处理机制—多级随机森林整合算法,来降低识别部位中的误分点,具体如下;第一步,以所有训练样本偏移量均值为基础,以等差方法前后选择多个偏移量,分别进行特征提取,随后利用随机森林分类模型分别获得多个部位分类结果;其中每个偏移量对应部位分类识别是独立进行的;第二步,将第一步获得的多种随机森林初步分类结果,对应相同部位的相同分类结果进行两两整合,去除不同分类点,保留相同分类点;(5)、改进的PDA算法利用上述误分类处理机制—多级随机森林整合算法处理随机森林分类结果后,能有效降低识别部位中存在的错误分类点,但也还会在处理后的部位周围残留一些离散点;为此,本发明提出了改进的PDA算法,通过位置权重阈值处理法将这些离散点去除,并最终计算出各身体部位的主方向向量—部位主轴;具体如下:5.1)将(4)处理的部位点云,利用逻辑函数和马氏距离计算每个像素点的位置权重;逻辑函数计算公式如下<mrow><mi>w</mi><mrow><mo>(</mo><msub><mi>t</mi><mi>i</mi></msub><mo>)</mo></mrow><mo>=</mo><mfrac><mi>C</mi><mrow><mn>1</mn><mo>+</mo><msup><mi>e</mi><mrow><mi>&alpha;</mi><mrow><mo>(</mo><msub><mi>t</mi><mi>i</mi></msub><mo>-</mo><msub><mi>t</mi><mn>0</mn></msub><mo>)</mo></mrow></mrow></msup></mrow></mfrac></mrow>其中w(ti)为第i个像素点的位置权重值,C是限定输出值(此时C=1),to=1,α=0.5,ti为第i个像素点的马氏距离;在计算身体部位各像素点的位置权重w(ti)时,像素点的权重值随像素点位置不同而变化;马氏距离计算公式如下<mrow><msub><mi>t</mi><mi>i</mi></msub><mo>=</mo><msqrt><mrow><msup><mrow><mo>(</mo><msub><mi>y</mi><mi>i</mi></msub><mo>-</mo><mi>&mu;</mi><mo>)</mo></mrow><mi>T</mi></msup><msup><mrow><mo>(</mo><mi>S</mi><mo>)</mo></mrow><mrow><mo>-</mo><mn>1</mn></mrow></msup><mrow><mo>(</mo><msub><mi>y</mi><mi>i</mi></msub><mo>-</mo><mi>&mu;</mi><mo>)</mo></mrow></mrow></msqrt></mrow>其中为部位点云的均值,为部位点云的协方差,yi为第i个像素点的深度值,T代表向量的转置处理,n为部位点云中像素点的个数;5.2)使用位置权重阈值处理办法,去除干扰点;设定位置权重阈值将识别的身体部位像素点排列组合为最小正方形,取其斜边η21)为为此身体部位的尺寸值,以此计算阈值大小;<mrow><msup><mi>&phi;</mi><mrow><mo>(</mo><msub><mi>&zeta;</mi><mn>2</mn></msub><mo>)</mo></mrow></msup><mo>=</mo><mfrac><mrow><mi>&beta;</mi><mo>*</mo><msub><mi>&eta;</mi><mn>2</mn></msub><mrow><mo>(</mo</div> </div> <div class="b20"></div> <div class="down-box" id="down-box"> <div class="msg" style="display: block;"> <span>下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。</span> </div> <div class="btns"> <span class="btn paydown">免登录下载</span><a href="/login.html?p=8684656C99F5006FCE09CDCFA9D0CD3D529B0CB81B83EA79" class="btn green" target="_blank">普通用户下载</a><a href="http://yh.vipzhuanli.com/member/service/pay-vip.html?p=v1" target="_blank" class="btn red">升级VIP会员,免费下载</a> </div> </div> <div class="warning"> <p>该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京工业大学,未经北京工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【<a href="https://wpa1.qq.com/l11yQAzu?_type=wpa&qidian=true">客服</a>】</p> <p>本文链接:http://www.vipzhuanli.com/patent/201711406248.8/,转载请声明来源钻瓜专利网。</p> </div> <ul class="clear_div other_o"><li class="prev">上一篇:<a href="/patent/201711404560.3/" title="一种配电网录波多工况精确识别方法">一种配电网录波多工况精确识别方法</a></li><li class="next">下一篇:<a href="/patent/201711409689.3/" title="业务识别方法、装置、终端设备及存储介质">业务识别方法、装置、终端设备及存储介质</a></li></ul> <div class="oth-box"> <dl class="d_th"><dd><span>同类专利</span></dd><dt class="th_a"></dt></dl> <dl class="d_th" style="padding-top:15px;"><dd><span>专利分类</span></dd></dl> <div class="ps_c"> <div><a href="/ipc/G/" target="_blank" title="物理">G 物理</a></div><a class="ml1" href="/ipc/G06/" target="_blank" title="计算;推算;计数">G06 计算;推算;计数</a><br/><a class="ml2" href="/ipc/G06K/" target="_blank" title="数据识别;数据表示;记录载体;记录载体的处理">G06K 数据识别;数据表示;记录载体;记录载体的处理</a><br/><a class="ml3" href="/pat/ipc/G06K9/00/" target="_blank" title="用于阅读或识别印刷或书写字符或者用于识别图形,例如,指纹的方法或装置">G06K9-00 用于阅读或识别印刷或书写字符或者用于识别图形,例如,指纹的方法或装置</a><br/><a class="ml3" href="/pat/ipc/G06K9/03/" target="_blank" title=".错误的检测或校正,例如,用重复扫描图形的方法">G06K9-03 .错误的检测或校正,例如,用重复扫描图形的方法</a><br/><a class="ml3" href="/pat/ipc/G06K9/18/" target="_blank" title=".应用具有附加代码标记或含有代码标记的打印字符的,例如,由不同形状的各个笔画组成的,而且每个笔画表示不同的代码值的字符">G06K9-18 .应用具有附加代码标记或含有代码标记的打印字符的,例如,由不同形状的各个笔画组成的,而且每个笔画表示不同的代码值的字符</a><br/><a class="ml3" href="/pat/ipc/G06K9/20/" target="_blank" title=".图像捕获">G06K9-20 .图像捕获</a><br/><a class="ml3" href="/pat/ipc/G06K9/36/" target="_blank" title=".图像预处理,即无须判定关于图像的同一性而进行的图像信息处理">G06K9-36 .图像预处理,即无须判定关于图像的同一性而进行的图像信息处理</a><br/><a class="ml3" href="/pat/ipc/G06K9/60/" target="_blank" title=".图像捕获和多种预处理作用的组合">G06K9-60 .图像捕获和多种预处理作用的组合</a><br/> </div> </div> </div> <div class="content-r"> <div class="btns content-list" id="downdd"> <div class="header"> <div class="header-title"><a >专利文件下载</a></div> <hr /> </div> <span class="btn paydown">免登录下载</span><a href="/login.html?p=8684656C99F5006FCE09CDCFA9D0CD3D529B0CB81B83EA79" class="btn green" target="_blank">普通用户下载</a><a href="http://yh.vipzhuanli.com/member/service/pay-vip.html?p=v1" target="_blank" class="btn red">升级VIP会员,免费下载</a> </div> <div class="content-list"> <div class="header"> <div class="header-title"><a href="/patent/list.html?kw=%e9%92%88%e5%af%b9 ">针对 相关专利</a></div> <hr /> </div> <ul> <li><a href="/patent/201280064089.7/">针对HPV的疫苗</a></li> <li><a href="/patent/201410331821.3/">针对TGFβ的抗体</a></li> <li><a href="/patent/201480053710.9/">针对PBCH的协调</a></li> <li><a href="/patent/201780015226.0/">针对TIGIT的抗体</a></li> <li><a href="/patent/201780021794.1/">针对RSV的疫苗</a></li> <li><a href="/patent/201810507442.3/">针对TAU的抗体</a></li> <li><a href="/patent/201811477030.6/">UE、基站、针对UE的方法、针对基站的方法</a></li> <li><a href="/patent/201880056875.X/">针对MADCAM的抗体</a></li> <li><a href="/patent/201910247168.5/">针对TIGIT的抗体</a></li> <li><a href="/patent/201911280548.5/">探针对准装置</a></li> </ul> </div> <div class="content-list"> <div class="header"> <div class="header-title"><a href="/patent/list.html?kw=%e5%8d%95%e4%b8%80 ">单一 相关专利</a></div> <hr /> </div> <ul> <li><a href="/patent/02106786.4/">单一光子发生装置</a></li> <li><a href="/patent/200810146293.9/">单一登入方法</a></li> <li><a href="/patent/200820085103.2/">单一内圈轮毂轴承</a></li> <li><a href="/patent/201010514124.3/">单一配套挂衣杆</a></li> <li><a href="/patent/201180009420.0/">单一单元抗体纯化</a></li> <li><a href="/patent/201680065635.7/">单一图像检测</a></li> <li><a href="/patent/201730657986.4/">单一挂钩</a></li> <li><a href="/patent/201830540133.7/">酒瓶(单一麦芽威士忌)</a></li> <li><a href="/patent/98810446.6/">单一模具对准</a></li> <li><a href="/patent/99807306.7/">单一光子发生装置</a></li> </ul> </div> <div class="content-list"> <div class="header"> <div class="header-title"><a href="/patent/list.html?kw=%e6%b7%b1%e5%ba%a6 ">深度 相关专利</a></div> <hr /> </div> <ul> <li><a href="/patent/200980119331.4/">图像处理方法</a></li> <li><a href="/patent/201210480343.3/">利用多分辨率过程生成鲁棒深度图的系统和方法</a></li> <li><a href="/patent/201310225182.8/">测井用深度编码器的检测装置及方法</a></li> <li><a href="/patent/201410814962.0/">深度图处理方法、装置及电子设备</a></li> <li><a href="/patent/201520574488.9/">螺纹深度规深度校准装置</a></li> <li><a href="/patent/201680035553.8/">用于确定图像的深度图的方法和装置</a></li> <li><a href="/patent/201810296934.2/">深度获取方法和装置、计算机可读存储介质和计算机设备</a></li> <li><a href="/patent/201811067113.8/">深度数据处理系统的操作方法</a></li> <li><a href="/patent/201811184795.0/">海底电缆埋设深度的设计方法</a></li> <li><a href="/patent/202110396926.7/">深度估计方法、模型训练方法、装置、设备及存储介质</a></li> </ul> </div> <div class="content-list"> <div class="header"> <div class="header-title"><a href="/patent/list.html?kw=%e5%9b%be%e5%83%8f ">图像 相关专利</a></div> <hr /> </div> <ul> <li><a href="/patent/200580005615.2/">彩色图像和单色图像的图像处理</a></li> <li><a href="/patent/200680051272.8/">图像编码/图像解码方法以及图像编码/图像解码装置</a></li> <li><a href="/patent/200910207046.X/">图像处理装置、图像形成装置、图像读取装置、图像处理方法</a></li> <li><a href="/patent/201080069322.1/">图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序</a></li> <li><a href="/patent/201080069393.1/">图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序</a></li> <li><a href="/patent/201280036325.4/">图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序以及图像解码程序</a></li> <li><a href="/patent/201480020084.3/">图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序</a></li> <li><a href="/patent/201610621055.3/">图像形成设备、图像形成系统和图像形成方法</a></li> <li><a href="/patent/201980044849.X/">图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序</a></li> <li><a href="/patent/201980044863.X/">图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序</a></li> </ul> </div> </div> </div> </div> <input type="hidden" id="hid_id" /> <script type="text/javascript"> /* <![CDATA[ */ var pat_ajax_url = "/down/check.html"; var wppay_ajax_url = "/pay/down"; var pnum = "201711406248.8"; var openNo = "CN108154176B"; var op = "20211105"; var y = "2021"; /* */
×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

tel code back_top