[发明专利]一种基于传感器数据的深度学习脚步检测方法

权利要求书

1.一种基于传感器数据的深度学习脚步检测方法，其特征在于，主要包括数据输入(一)；模态迁移(二)；迁移学习(三)；图像分类(四)。

2.基于权利要求书1所述的一种基于传感器数据的深度学习脚步检测方法，其特征在于，使用压力传感器数据，在视觉上不易解释的数据类型，并且不清楚是否可以可视化解释；将传感器模态迁移到图像形式的视觉域，并利用预先训练的深度卷积神经网络识别二维传感器数据；把二维传感器的输出迁移到压力分布成像，实现模态迁移，得到迁移的图像数据；利用预先训练的卷积神经网络对迁移的图像数据进行迁移学习，从而执行脚步检测、识别任务。

3.基于权利要求书1所述的数据输入(一)，其特征在于，选取由人在压力敏矩阵上行走获取的脚步数据作为步态数据集，该数据集由13个人的脚步样本组成；每个人的每个步行序列中记录2-3个脚步，每人最少记录12个样本；每个步行序列是用一个特定的人的ID标记的单独数据序列，ID定义了卷积神经网络的类标签，总共包括529个脚步。

4.基于权利要求书1所述的模态迁移(二)，其特征在于，包括预处理、位置归一化和图像提取；将传感器的原始数据，即120×54个二维压力映射的时间序列线性地迁移为灰度色彩图，其中每个像素表示感知点，更亮的颜色对应于更高的压力；完整的脚步由压力映射帧的序列构成，每个帧对应脚步的某一时刻；沿着时间维度分割每个脚步并且找到每个脚步的单独时刻；其他传感器数据同样可以应用上述模态迁移的思路。

5.基于权利要求书4所述的预处理，其特征在于，通过将每个帧迁移为二进制帧并应用自适应阈值来将脚步与背景噪声分离；对于阈值，将帧的像素值分类成组数为10的直方图，并且阈值被确定为最高值组的下一个组的中心值。

6.基于权利要求书4所述的位置归一化，其特征在于，首先找到所有帧的最大边界框，它包围每个单独脚步，确保属于同一脚步的所有时刻都由该边界框包围；对于同一脚步，使用相同大小的边界框来捕获和提取所有的时刻，从而利用边界框切割不相关的部分。

7.基于权利要求书4所述的图像提取，其特征在于，在拟合边界框后采用最大帧法、平均法和序列分析法进行图像提取；

最大帧法，从每个样本的帧序列中捕获最大帧，将其迁移为相应的图像并用类ID标记它；从步态数据集中提取总共529个模态迁移后的图像；

平均法，对单个样本的序列中的所有帧进行平均操作，并找到平均像素值的对应图像；平均帧携带脚步的所有时刻的时间信息，有助于建立更有效的特征集合；

序列分析法，使用样本的帧序列的所有分量并将它们迁移成图像；每个帧携带原始值，并且提供比前面两种方法更多的颗粒度；

测试得到的分类结果显示，采用序列分析方法达到的精度最高，达到90％左右。

8.基于权利要求书1所述的迁移学习(三)，其特征在于，使用Inception-v3模型作为预训练的卷积神经网络模型，移除模型中的分类层或将分类层用作特征描述符，并添加新的分类层；然后调整输入图像大小以适应卷积神经网络输入的大小(229×229)，通过经由网络向前传播输入来计算整个网络的激活。

9.基于权利要求书8所述的Inception-v3模型，其特征在于，体系结构包括3个卷积层，其后是一个池层，3个卷积层，10个Inception块和一个最终的完全连接层，共17层；通过训练网络对数据进行迁移学习，从完全连接层提取激活，每个输入可以得到一个2048维的输出，解释为序列中每个帧的描述符。

10.基于权利要求书1所述的图像分类(四)，其特征在于，采用预训练的卷积神经网络模型对模态迁移后得到的脚步图像进行迁移学习，经由最大帧、平均帧或序列分析处理得到的数据序列，重新调整大小后作为网络的输入，最后输出该脚步图像属于某个人的ID分类结果，达到90％左右的识别精度；本专利模型不限于压力传感器数据，其他传感器数据同样可以使用。