[发明专利]家政工作模式的识别方法和装置

权利要求书

1.一种家政工作模式的识别方法，包括：

获取由用户佩戴的可移动摄像头捕获的图像数据，所述图像数据包括视频帧的序列；

提取所述图像数据的空间特征和时间特征，其中所述空间特征包括针对每个视频帧的多尺度特征，所述时间特征基于一段时间内的视频帧的空间特征而形成；

获取由用户佩戴的一个或多个运动传感器采集到的运动数据，所述运动数据包括三维空间的加速度、角加速度和地磁数据的序列；

提取所述运动数据的运动模式特征；

提取所述一个或多个运动传感器相对于所述可移动摄像头的空间关系特征；

基于所述图像数据的空间特征和时间特征、所述运动模式特征和所述空间关系特征，确定用户当前的家政模式和工作强度。

2.如权利要求1所述的识别方法，其中，提取所述图像数据的空间特征包括使用卷积神经网络提取所述图像数据中视频帧的8倍下采样特征、16倍下采样特征和32倍下采样特征，并组合形成所述多尺度特征。

3.如权利要求1所述的识别方法，其中，提取所述图像数据的时间特征包括:从当前帧之前一段时间内的多个视频帧中随机选择一部分视频帧，组合所选择的一部分视频帧的空间特征，形成所述时间特征。

4.如权利要求3所述的识别方法，其中，组合所选择的一部分视频帧的空间特征包括：池化所述空间特征为最大值、平均值、乘积中的一个。

5.如权利要求1所述的识别方法，所述运动模式包括类别和强度，类别包括大运动平移、大运动转动、大运动振动、精细运动平移、精细运动转动、精细运动振动，强度包括距离、振幅、频率。

6.如权利要求1所述的识别方法，其中，提取所述运动数据的运动模式特征包括使用支持向量机提取所述运动模式。

7.如权利要求1所述的识别方法，其中，所述一个或多个运动传感器包括用于检测头部运动的头部运动传感器和用于检测四肢运动的手环运动传感器。

8.如权利要求1所述的识别方法，其中，提取所述空间关系特征包括：基于头部运动传感器的感测数据、手环运动传感器的感测数据，通过惯性导航的方式计算出手环运动传感器相对于头部运动传感器的空间关系向量，得到所述空间关系向量的时间序列，作为所述空间关系特征。

9.如权利要求1所述的识别方法，其中，所述确定用户当前的家政模式和工作强度包括：将所述空间特征和时间特征、所述运动模式特征和所述空间关系特征组合输入到神经网络模型，以输出用户的行为模式和工作强度。

10.一种家政工作模式的识别装置，包括：

图像数据获取单元，用于获取由用户佩戴的可移动摄像头捕获的图像数据，所述图像数据包括视频帧的序列；

图像特征提取单元，提取所述图像数据的空间特征和时间特征，其中所述空间特征包括针对每个视频帧的多尺度特征，所述时间特征基于一段时间内的视频帧的空间特征而形成；

运动数据获取单元，用于获取由用户佩戴的一个或多个运动传感器采集到的运动数据，所述运动数据包括三维空间的加速度、角加速度和地磁数据的序列；

运动特征提取单元，用于提取所述运动数据的运动模式特征；

空间关系特征提取单元，用于提取所述一个或多个运动传感器相对于所述可移动摄像头的空间关系特征；

模式确定单元，用于基于所述图像数据的空间特征和时间特征、所述运动模式特征和所述空间关系特征，确定用户当前的家政模式和工作强度。