[发明专利]家政工作模式的识别方法和装置

说明书

本公开提供了一种家政工作模式的识别方法，包括：获取由用户佩戴的可移动摄像头捕获的图像数据，图像数据包括视频帧的序列；提取图像数据的空间特征和时间特征，其中空间特征包括针对每个视频帧的多尺度特征，时间特征基于一段时间内的视频帧的空间特征而形成；获取由用户佩戴的一个或多个运动传感器采集到的运动数据，运动数据包括三维空间的加速度、角加速度和地磁数据的序列；提取运动数据的运动模式特征；提取一个或多个运动传感器相对于可移动摄像头的空间关系特征；基于图像数据的空间特征和时间特征、运动模式特征和空间关系特征，确定用户当前的家政模式和工作强度。

技术领域

本发明涉及人力资源管理和传感器技术领域，具体涉及一种家政工作模式的识别方法和装置。

背景技术

家政服务是一种综合性的劳动，例如，包括做饭、拖地、擦窗户、看小孩等，每种工作模式需要的技能要求不同，单位时间的薪酬也有差异。常常有家政人员抱怨在业主家中的工作太辛苦，得不到合理的报酬，类似地，有的业主则会抱怨家政人员工作懈怠不主动，认为不值得拿那么多薪水。

现有技术通常是根据固定位置摄像头采集视频数据，从视频中的动作判断家政人员正在从事的工作。例如，CN111008616A公开了一种基于卷积神经网络和深度核网络的视频行为识别方法，包括以下步骤：步骤1：采集视频并按行为类别进行分类；步骤2：对筛选后的视频进行预处理；步骤3：用经过预处理后的数据训练模型；步骤4：采集待检测视频并进行预处理；步骤5：根据步骤3得到的训练好的模型用步骤4得到的预处理后的数据作为输入进行行为识别；步骤6：根据步骤5的识别结果就可以得到与待识别视频相似度最高的行为类别。该方法仅提取了视频图像的图像特征，基于图像特征进行行为分类。

这种方法只能很粗略地判断出大运动家务的类型，而且在视频信息受障碍物和光线影响的情况下，无法判断出家务类型。因此，需要一种能够自动判断家政人员工作类别和强度的方法，其能够在无人监督的情况下，估算出家政人员在家都做了哪些家务、每种家务分别工作了多长时间。

发明内容

有鉴于此，本发明实施例公开了一种家政工作模式的识别方法、装置、电子设备和计算机可读介质，其综合视频识别、传感器模式识别技术来精确识别出家政人员的工作模式和强度，从而可以更为准确地评估家政人员的工作量，作为支付报酬的参考。

根据本发明的第一方面，提供了一种家政工作模式的识别方法，包括：获取由用户佩戴的可移动摄像头捕获的图像数据，所述图像数据包括视频帧的序列；提取所述图像数据的空间特征和时间特征，其中所述空间特征包括针对每个视频帧的多尺度特征，所述时间特征基于一段时间内的视频帧的空间特征而形成；获取由用户佩戴的一个或多个运动传感器采集到的运动数据，所述运动数据包括三维空间的加速度、角加速度和地磁数据的序列；提取所述运动数据的运动模式特征；提取所述一个或多个运动传感器相对于所述可移动摄像头的空间关系特征；基于所述图像数据的空间特征和时间特征、所述运动模式特征和所述空间关系特征，确定用户当前的家政模式和工作强度。

在一个可能的实施例中，提取所述图像数据的空间特征包括使用卷积神经网络提取所述图像数据中视频帧的8倍下采样特征、16倍下采样特征和32倍下采样特征，并组合形成所述多尺度特征。多尺度特征的优点在于，能够从图像中提取到大运动和精细运动家务劳动产生的图像特征，例如，拖地、擦窗户属于典型的大运动家务，伴随着视频图像的大幅度变化，诸如32倍下采样的高阶特征更能够体现大运动相关的家务模式；相反，做饭、带小孩等属于典型的精细运动家务模式，伴随着视频图像的精细变化或较少变化，诸如8倍下采样的低阶特征更能够体现精细运动的家务模式。

在一个可能的实施例中，提取所述图像数据的时间特征可以包括:从当前帧之前一段时间内的多个视频帧中随机选择一部分视频帧，组合所选择的一部分视频帧的空间特征，形成所述时间特征。为了提取视频数据的时间特征，在一段时间的视频，即移动时间窗的多个帧中随机选择其中的一部分帧进行池化，可以减轻过拟合的问题。