[发明专利]基于视频序列的活动能力评估方法、装置、介质及设备

权利要求书

1.一种基于视频序列的活动能力评估方法，其特征在于，包括：

对获取到的视频文件进行解码，得到多个视频帧；

对所述多个视频帧进行骨骼关键点检测，得到所述多个视频帧分别对应的骨骼关键点集合；

根据获取到的活动环节划分参数从所述多个视频帧中确定属于各活动环节的视频帧，得到所述各活动环节对应的视频帧序列；

将所述各活动环节对应的视频帧序列的骨骼关键点集合输入所述各活动环节对应的模型；其中，所述模型用于进行用户行为识别或用户行为等级评估；

根据各模型输出的结果生成用于评估用户活动能力的综合评估结果；

其中，所述模型为行为识别模型或行走等级预测模型，将所述各活动环节对应的视频帧序列的骨骼关键点集合输入所述各活动环节对应的模型，包括：

确定所述各活动环节对应的评估任务；

若所述各活动环节中的目标活动环节所对应的评估任务为行为识别任务，则将所述目标活动环节对应的视频帧序列的骨骼关键点集合输入所述行为识别模型，以使得所述行为识别模型识别所述目标活动环节对应的真实用户行为和行为置信度，作为所述行为识别模型的评估结果；

若所述各活动环节中的目标活动环节所对应的评估任务为行走等级预测任务，则将所述目标活动环节对应的视频帧序列的骨骼关键点集合输入所述行走等级预测模型，以使得所述行走等级预测模型预测所述目标活动环节对应的行走等级和等级置信度，作为所述行走等级预测模型的评估结果；

其中，所述目标活动环节为所述各活动环节中任一活动环节，所述真实用户行为至少包括行走、坐、立、转身中至少一种；

其中，所述行为识别模型识别所述目标活动环节对应的真实用户行为和行为置信度，作为所述行为识别模型的评估结果，包括：

控制所述行为识别模型依据多个时空长短时记忆单元传递所述目标活动环节的骨骼关键点集合的特征，并根据最后一个时空长短时记忆单元输出的特征确定所述目标活动环节对应的真实用户行为和行为置信度；或者，

控制所述行为识别模型依据卷积神经网络提取所述目标活动环节的骨骼关键点集合的特征，并依据循环神经网络对所述特征进行特征分类，得到所述目标活动环节对应的真实用户行为和行为置信度。

2.根据权利要求1所述的方法，其特征在于，根据获取到的活动环节划分参数从所述多个视频帧中确定属于各活动环节的视频帧，得到所述各活动环节对应的视频帧序列之前，所述方法还包括：

接收请求端发送的所述活动环节划分参数；其中，所述活动环节划分参数用于通过时间戳标识所述各活动环节对应的视频帧。

3.根据权利要求2所述的方法，其特征在于，接收请求端发送的所述活动环节划分参数之前，所述方法还包括：

所述请求端获取视频录制区域中设置的至少一个传感器记录的参数；其中，所述至少一个传感器记录的参数对应的记录时间属于视频录制过程中的任一时间点；

所述请求端根据所述至少一个传感器记录的参数生成所述活动环节划分参数；

所述请求端将所述活动环节划分参数发送至服务端，以使得所述服务端接收所述活动环节划分参数。

4.根据权利要求3所述的方法，其特征在于，对所述多个视频帧进行骨骼关键点检测，得到所述多个视频帧分别对应的骨骼关键点集合之后，所述方法还包括：

确定所述视频录制区域中包含所有传感器的最小区域；

根据所述最小区域对所述多个视频帧分别对应的骨骼关键点集合进行噪点筛除，筛选后的各骨骼关键点集合均处于所述最小区域。

5.根据权利要求1所述的方法，其特征在于，对所述多个视频帧进行骨骼关键点检测，得到所述多个视频帧分别对应的骨骼关键点集合，包括：

预测所述多个视频帧中骨骼关键点的位置坐标；

根据所述位置坐标确定各视频帧中各骨骼关键点之间的空间位置关系；

根据所述空间位置关系确定所述多个视频帧分别对应的骨骼关键点集合。