[发明专利]一种基于传感器数据的深度学习脚步检测方法

说明书

技术领域

本发明涉及计算机视觉领域，尤其是涉及了一种基于传感器数据的深度学习脚步检测方法。

背景技术

随着科技技术迅速发展，卷积神经网络已经成为各种计算机视觉任务中的最先进的技术。日常生活环境中存在的传感器产生大量的数据，它们提供用于活动识别和上下文感知模型的信息。使用深度学习的方法从原始传感器数据提取有用信息，能有效执行分类、识别和分割相关的任务，但这些技术需要大量的标记数据以便于训练这些非常深的网络，且对于各种其他任务仍没有很多标记的数据集。而且存在视觉上不易解释的数据类型，如传感器数据。而如果采用基于传感器数据的深度学习脚步检测方法，则可以利用迁移学习和模态转移的思想，将传感器数据迁移到图像域后，有效分类脚步图像，还可以应用于诸如智能环境和健康场景中的自动监视，如跑步、睡觉、步行等身体活动监测，分析步态模式，生物活动监测如呼吸检测、进食检测等。

本发明提出了一种基于传感器数据的深度学习脚步检测方法，它采用预训练的卷积神经网络模型，首先对步态数据集进行预处理，分离噪声后，重新调整大小为229×229；接下来，拟合边界框切割预处理后的图像；然后，利用最大帧法、平均法和序列分析法进行图像提取；最后由预训练的Inception-v3模型迁移学习提取的图像，获得分类后的结果。本发明由于采用预训练的网络模型，节省大量的计算资源和时间；利用迁移学习的概念，从而避开在执行各种没有标记数据集的其他任务无法学习的限制；获得的分类精度达到90％左右，优于常规机器学习方法超过12％。

发明内容

针对网络模型训练困难和数据不易可视化解释的问题，本发明的目的在于提供一种基于传感器数据的深度学习脚步检测方法。

为解决上述问题，本发明提供一种基于传感器数据的深度学习脚步检测方法，其主要内容包括：

(一)数据输入；

(二)模态迁移；

(三)迁移学习；

(四)图像分类。

其中，一种基于传感器数据的深度学习脚步检测方法，使用压力传感器数据，在视觉上不易解释的数据类型，并且不清楚是否可以可视化解释；将传感器模态迁移到图像形式的视觉域，并利用预先训练的深度卷积神经网络识别二维传感器数据；把二维传感器的输出迁移到压力分布成像，实现模态迁移，得到迁移的图像数据；利用预先训练的卷积神经网络对迁移的图像数据进行迁移学习，从而执行脚步检测、识别任务。

其中，所述的数据输入，选取由人在压力敏矩阵上行走获取的脚步数据作为步态数据集，该数据集由13个人的脚步样本组成；每个人的每个步行序列中记录2-3个脚步，每人最少记录12个样本；每个步行序列是用一个特定的人的ID标记的单独数据序列，ID定义了卷积神经网络的类标签，总共包括529个脚步。

其中，所述的模态迁移，包括预处理、位置归一化和图像提取；将传感器的原始数据，即120×54个二维压力映射的时间序列线性地迁移为灰度色彩图，其中每个像素表示感知点，更亮的颜色对应于更高的压力；完整的脚步由压力映射帧的序列构成，每个帧对应脚步的某一时刻；沿着时间维度分割每个脚步并且找到每个脚步的单独时刻；其他传感器数据同样可以应用上述模态迁移的思路。

进一步地，所述的预处理，通过将每个帧迁移为二进制帧并应用自适应阈值来将脚步与背景噪声分离；对于阈值，将帧的像素值分类成组数为10的直方图，并且阈值被确定为最高值组的下一个组的中心值。

进一步地，所述的位置归一化，首先找到所有帧的最大边界框，它包围每个单独脚步，确保属于同一脚步的所有时刻都由该边界框包围；对于同一脚步，使用相同大小的边界框来捕获和提取所有的时刻，从而利用边界框切割不相关的部分。

进一步地，所述的图像提取，在拟合边界框后采用最大帧法、平均法和序列分析法进行图像提取；

最大帧法，从每个样本的帧序列中捕获最大帧，将其迁移为相应的图像并用类ID标记它；从步态数据集中提取总共529个模态迁移后的图像；

平均法，对单个样本的序列中的所有帧进行平均操作，并找到平均像素值的对应图像；平均帧携带脚步的所有时刻的时间信息，有助于建立更有效的特征集合；

序列分析法，使用样本的帧序列的所有分量并将它们迁移成图像；每个帧携带原始值，并且提供比前面两种方法更多的颗粒度；

测试得到的分类结果显示，采用序列分析方法达到的精度最高，达到90％左右。