[发明专利]基于关键帧采样的小样本深度学习多模态手语识别方法有效
| 申请号： | 202010458536.3 | 申请日： | 2020-05-26 |
| 公开（公告）号： | CN111666845B | 公开（公告）日： | 2022-09-06 |
| 发明（设计）人： | 王剑羽;陈建新 | 申请（专利权）人： | 南京邮电大学 |
| 主分类号： | G06V40/20 | 分类号： | G06V40/20;G06V10/764;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08 |
| 代理公司： | 南京苏科专利代理有限责任公司 32102 | 代理人： | 姚姣阳 |
| 地址： | 210000 江*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 基于关键帧采样的小样本深度学习多模态手语识别方法，该方法实现步骤是：多模态数据输入，选择RGB彩色视频数据，深度数据以及光流数据作为多模态数据源；手部分割，基于多个彩色空间RGB，YCrCb和HSV的肤色检测提取出人脸和手，再根据深度数据和人体骨骼坐标剔除人脸像素的影响；提出并采用一种新的基于手部骨骼数据和光流的关键帧采样方法；数据增强；基于均匀采样数据的数据的残差神经网络R(2+1)D训练；提出并利用跨模态模型数据对关键帧采样的数据R(2+1)D微调网络训练；多模态融合。本发明成功在小样本中国手语数据库DEVISIGN‑D上首次使用深度学习的方法，并且针对该手语词库进行较为准确的识别，其精确度超过了以往的传统方法，取得了目前最优的效果。 | ||
| 搜索关键词： | 基于 关键 采样 样本 深度 学习 多模态 手语 识别 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于南京邮电大学，未经南京邮电大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202010458536.3/，转载请声明来源钻瓜专利网。
- 上一篇：一种女士长筒靴柜
- 下一篇：一种基于多路聚合的实时高性能语义分割方法和装置
