[发明专利]基于数据增强与知识蒸馏的可增类行为识别系统及方法在审
申请号: | 202210216245.2 | 申请日: | 2022-03-07 |
公开(公告)号: | CN114638289A | 公开(公告)日: | 2022-06-17 |
发明(设计)人: | 殷亚凤;刘仲;谢磊;陆桑璐 | 申请(专利权)人: | 南京大学 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 江苏圣典律师事务所 32237 | 代理人: | 贺翔 |
地址: | 210093 江*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 数据 增强 知识 蒸馏 可增类 行为 识别 系统 方法 | ||
1.一种基于数据增强与知识蒸馏的可增类行为识别系统,其特征在于,包括:数据采集单元、数据预处理单元、存储单元、行为识别单元和增类训练单元;
数据采集单元,用于采集用户运动时的惯性传感器三个轴的加速度计和三个轴的陀螺仪数据;
数据预处理单元,对获取的加速计数据和陀螺仪数据进行重采样,裁剪数据长度以及归一化数据的值,输出经过预处理后的行为数据;
存储单元,用于存储旧行为类别代表样本集和旧行为识别模型;
行为识别单元,用于对所述预处理后的行为数据进行识别和分类,对于新行为类别,改变分类器的输出类别数,并将新行为类别的样本和旧行为类别的代表性样本作为训练样本,产生一个增类训练任务,发送给增类训练单元;
增类训练单元,获取存储单元存储的旧行为识别模型,使用新行为类别的样本以及旧行为类别的部分代表性样本对旧行为识别模型进行增类训练,输出一个新行为识别模型;所述新行为识别模型对旧行为类别数据或新行为类别数据进行识别,输出行为识别结果。
2.根据权利要求1所述的基于数据增强与知识蒸馏的可增类行为识别系统,其特征在于,所述数据预处理单元包括:数据重采样模块、数据归一化及标准化模块;
数据重采样模块:对数据采集单元获取的行为数据进行对齐长度操作;对每个长度不一致的行为数据进行线性插值运算,该运算采用一个插值函数,设置固定采样长度,插值函数将生成固定采样长度的行为数据,实现对所有的行为数据对齐;
数据归一化及标准化模块:求所有重采样后数据的均值μ和方差σ,并将μ和σ作用到所有训练数据上,使用如下公式将数据归一化到[-1,1],使其服从标准正态分布:
式中,Do是归一化的行为数据,Di是原始的行为数据,μ代表训练数据的均值,σ代表训练数据的方差;同时使用该均值和方差对所有测试数据进行归一化和标准化。
3.根据权利要求1所述的基于数据增强与知识蒸馏的可增类行为识别系统,其特征在于,所述存储单元存储旧行为类别代表样本集Dold和旧行为识别模型Mo,其中旧行为类别代表样本集Dold的容量设置成固定样本数量:每次增类训练结束后,通过聚类方法,计算新行为类别训练样本的中心样本,选取其中有代表性的训练样本存储到存储单元中,同时减少旧行为类别代表样本的数量,将与中心样本差异大的训练样本删除,保持旧行为类别代表样本和新行为类别代表样本的总数恒定,并用当前的旧行为类别代表样本和新行为类别代表样本更新旧行为类别代表样本集Dold。
4.根据权利要求1所述的基于数据增强与知识蒸馏的可增类行为识别系统,其特征在于,所述行为识别单元包括:特征提取模块和分类器模块;
所述特征提取模块,将数据预处理单元处理后的行为数据进行编码,输出一个256维特征向量;
所述分类器模块,将编码后的256维特征向量与分类器的隐藏层特征矩阵进行内积计算,输出一个N维向量,N代表行为类别数量,N维向量上最大数值对应的类别即为分类结果。
5.根据权利要求4所述的基于数据增强与知识蒸馏的可增类行为识别系统,其特征在于,所述特征提取模块将数据预处理单元处理后的行为数据进行编码,输出一个256维特征向量,该特征向量包含行为数据的重要特征信息,作为分类器模块的输入;所述特征提取模块包含:1个位置编码模块和6个串联的编码器模块;所述位置编码模块将来自数据预处理单元的数据加入位置信息,重新编码为256维的特征向量,作为第一个编码器模块的输入;后一个编码器模块使用前一个编码器模块的256维特征向量作为输入,输出经过编码处理的256维特征向量;前5个编码器模块输出的256维特征向量均称为隐藏层特征向量,该5个编码器模块输出的隐藏层特征向量被保留,同时该5个编码器模块还输出隐藏层自注意力矩阵。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京大学,未经南京大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210216245.2/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置