[发明专利]板书抓拍方法、装置、电子设备及可读存储介质

权利要求书

1.一种板书抓拍方法，其特征在于，所述板书抓拍方法包括：

获取目标区域的全景画面，通过板书区域检测模型和人形检测模型对所述全景画面进行识别，得到板书区域检测结果以及人形检测结果，其中，所述全景画面是通过单目摄像机获取，所述全景画面为包括目标区域中的教师、讲台以及黑板或白板在内的教学画面；

根据所述板书区域检测结果从所述全景画面中裁切出板书区域，并根据所述板书区域检测结果以及所述人形检测结果，判断板书区域是否被遮挡；

当所述板书区域未被遮挡时，根据所述板书区域内的画面，确定板书区域图像数据；

当所述板书区域被部分遮挡时，更新未被遮挡的部分区域的图像帧，生成所述板书区域图像数据；

其中，所述板书区域图像数据包括板书区域快照，所述人形检测结果包括教师动作检测信息，所述当所述板书区域未被遮挡时，根据所述板书区域内的画面，确定板书区域图像数据的步骤包括：

当所述板书区域未被人形遮挡时，通过人形检测模型在上一板书区域快照的时间点与当前时间点之间对所述板书区域之前的教师的动作进行检测，获得教师动作检测信息，其中，所述人形检测模型是由包含教师板书动作的图片训练得到；

基于所述教师动作检测信息判断在上一板书区域快照的时间点与当前时间点之间是否存在板书动作，其中，所述上一板书区域快照为已存储的板书区域快照中对应的时间点与当前时间点最近的板书区域快照；

若是，则对所述板书区域内的画面进行抓拍，得到板书区域快照，并存储所述板书区域快照。

2.如权利要求1所述板书抓拍方法，其特征在于，所述板书区域图像数据包括板书区域快照，所述当所述板书区域未被遮挡时，根据所述板书区域内的画面，确定板书区域图像数据的步骤包括：

当所述板书区域未被遮挡时，对比当前板书区域图像与上一板书区域快照，得到图像差异值，其中，所述上一板书区域快照为已存储的板书区域快照中对应的时间点与当前时间点最近的板书区域快照；

判断所述图像差异值是否大于预设差异阈值；

若是，则将所述当前板书区域图像置为板书区域快照，并存储所述板书区域快照。

3.如权利要求1所述板书抓拍方法，其特征在于，所述板书区域图像数据包括板书视频流数据，所述当所述板书区域被部分遮挡时，根据所述板书区域检测结果从所述全景画面中裁切出板书区域，并更新未被遮挡的部分区域的图像帧，生成所述板书区域图像数据的步骤包括：

当所述板书区域被遮挡时，分析所述人形检测结果，得到人形遮挡区域；

将所述人形遮挡区域的画面帧保持在未被遮挡前的画面帧，并更新未被遮挡的区域的图像帧，得到板书视频画面；

对所述板书视频画面进行编码，生成所述板书视频流数据。

4.如权利要求3所述板书抓拍方法，其特征在于，在所述将所述人形遮挡区域的画面帧保持在未被遮挡前的画面帧，并更新未被遮挡的区域的图像帧，得到板书视频画面的步骤之后，还包括：

当检测到所述人形遮挡区域的画面帧与所述未被遮挡前的画面帧交界线处存在板书内容拼接异常的情况；

对交界线两侧的内容进行检测，判断是否存在宽度大于预设阈值的空白区域；

若是，则将所述板书空白区域置为所述人形遮挡区域的画面帧与所述未被遮挡前的画面帧交界线。

5.如权利要求1所述板书抓拍方法，其特征在于，所述板书区域检测结果包括板书区域位置信息，所述人形检测结果包括人形位置信息以及教师动作检测信息，所述获取目标区域的全景画面，通过板书区域检测模型和人形检测模型对所述全景画面进行识别，得到板书区域检测结果以及人形检测结果的步骤包括：

通过单目摄像机采集目标区域的全景画面，通过所述板书区域检测模型对所述全景画面进行识别，得到所述板书区域位置信息，其中，所述板书区域检测模型是由课堂场景画面进行训练得到，其中，所述课堂场景画面包括至少包括屏幕、黑窗帘中的一种；

通过所述人形检测模型对所述全景画面进行识别，得到所述人形位置信息以及教师动作检测信息，其中，所述人形位置信息包括教师位置信息以及学生位置信息，所述人形检测模型是由课堂场景画面以及包含教师板书动作的图片训练得到。