[发明专利]一种直播行为识别方法、装置、设备和可读介质

说明书

本公开实施例公开了一种直播行为识别方法、装置、设备和可读介质。其中，该方法包括：根据当前直播帧内已检测出的目标关键点，构建所述当前直播帧内的人脸动作特征；基于各所述目标关键点间的位置偏差以及所述人脸动作特征，从已构建的教学行为库中识别所述当前直播帧内的教学行为。本公开实施例提供的技术方案，实现直播行为的实时识别，提高直播行为识别的及时性；同时，在教学行为库内能够灵活配置各种不符合教学规范要求的教学行为，实现直播行为的定制化识别，提高直播行为识别的灵活性和全面性。

技术领域

本公开实施例涉及视频处理技术领域，尤其涉及一种直播行为识别方法、装置、设备和可读介质。

背景技术

随着人工智能技术在教育信息化领域的快速发展，越来越多的教师会采用远程直播的方式向学生进行教学，因此需要对线上的教学直播进行行为识别，防止向学生传播一些不良行为信息。

目前，直播行为的识别主要分为课后人工识别和实时识别两种：对于课后人工识别，需要在教师完成授课后，将授课直播视频发送给人工平台进行行为识别，此时无法保证直播行为的识别及时性，而影响到学生远程的上课体验；对于实时行为识别，通常会采用现有深度学习方式所训练的网络识别模型，来实时对教学直播内的行为进行识别，然而由于教学直播与其他直播要求的行为规范不同，除了需要对直播内容是否包含不良信息进行识别外，还需要对教师的教学姿态是否符合教学规范进行行为识别，因此现有的网络识别模型无法全面识别教学直播内的各类行为，降低了直播行为识别的准确性。

发明内容

有鉴于此，本公开实施例提供了一种直播行为的识别方法、装置、设备和可读介质，在保证直播行为实时识别的基础上，利用教学行为库实现特定直播行为的定制化配置，提高直播行为识别的全面性和及时性。

第一方面，本公开实施例提供了一种直播行为识别方法，该方法包括：

根据当前直播帧内已检测出的目标关键点，构建所述当前直播帧内的人脸动作特征；

基于各所述目标关键点间的位置偏差以及所述人脸动作特征，从已构建的教学行为库中识别所述当前直播帧内的教学行为。

第二方面，本公开实施例提供了一种直播行为识别装置，该装置包括：

人脸动作构建模块，用于根据当前直播帧内已检测出的目标关键点，构建所述当前直播帧内的人脸动作特征；

教学行为识别模块，用于基于各所述目标关键点间的位置偏差以及所述人脸动作特征，从已构建的教学行为库中识别所述当前直播帧内的教学行为。

第三方面，本公开实施例还提供了一种电子设备，该设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开任意实施例中所述的直播行为识别方法。

第四方面，本公开实施例提供了一种可读介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开任意实施例中所述的直播行为识别方法。

本公开实施例提供的一种直播行为识别方法、装置、设备和可读介质，在已构建的教学行为库中预先自定义多种特定的教学行为，以根据当前直播帧内已检测出的目标关键点，构建当前直播帧内的人脸动作特征，然后采用各目标关键点间的位置偏差以及该人脸动作特征，从已构建的教学行为库中识别出当前直播帧内的教学行为，从而实现直播行为的实时识别，提高直播行为识别的及时性；同时，在教学行为库内能够灵活配置各种不符合教学规范要求的教学行为，实现直播行为的定制化识别，提高直播行为识别的灵活性和全面性。

附图说明