[发明专利]一种多媒体数据处理方法、装置和电子设备

权利要求书

1.一种多媒体数据处理方法，其特征在于，包括：

获取属于课堂环境中的第一音频信息和第二音频信息；所述第一音频信息和所述第二音频信息是分别由两个位于不同位置的收音器采集得到；

在所述第一音频信息中查找属于老师类型的音频段，作为目标第一音频段；

根据音频特征将第二音频信息切分为多个单位第二音频段；每个单位第二音频段为包含连续声音的音频段或为静音的音频段；

将所述每个单位第二音频段输入至音频分类模型中，分别识别与所述每个单位第二音频段匹配的音频类型；

将所述第二音频信息中的所述音频类型不为老师类型的单位第二音频段，作为待调整音频段；

若待调整音频段的时间信息与所述目标第一音频段的时间信息不重叠，则确定所述待调整音频段为目标第二音频段，若待调整音频段的时间信息与所述目标第一音频段的时间信息重叠，则将所述待调整音频段中不重叠部分对应的音频段，确定为所述目标第二音频段；所述目标第二音频段与所述目标第一音频段分别对应的时间信息互不重叠；

将所述目标第一音频段转换为目标第一文本信息，根据所述目标第一文本信息识别与所述目标第一音频段对应的第一教学类型信息；

根据所述第一教学类型信息、所述目标第一音频段对应的时间信息、所述目标第二音频段对应的时间信息、所述目标第二音频段对应的音频类型和音频特征，统计所述课堂环境中的关键环节信息；所述关键环节信息包括老师行为分析结果和学生行为分析结果。

2.根据权利要求1所述的方法，其特征在于，所述在所述第一音频信息中查找属于老师类型的音频段，作为目标第一音频段，包括：

根据音频特征将所述第一音频信息切分为多个单位第一音频段；每个单位第一音频段为包含连续声音的音频段或为静音的音频段；

将所述每个单位第一音频段输入至音频分类模型中，分别识别与所述每个单位第一音频段匹配的音频类型；

将所述第一音频信息中的所述音频类型为所述老师类型的单位第一音频段，均确定为所述目标第一音频段。

3.根据权利要求2所述的方法，其特征在于，所述根据所述目标第一文本信息识别与所述目标第一音频段对应的第一教学类型信息，包括：

将所述目标第一文本信息输入第一文本分类模型，获取与所述目标第一音频段匹配的教学手段信息；

将所述目标第一文本信息输入第二文本分类模型，获取与所述目标第一音频段匹配的教学内容结构；

将所述目标第一音频段对应的教学手段信息和所述目标第一音频段对应的教学内容结构确定为与所述目标第一音频段对应的第一教学类型信息。

4.根据权利要求3所述的方法，其特征在于，还包括：

将音频类型为单人学生类型或多人学生类型的目标第二音频段转换为目标第二文本信息，将与所述目标第二文本信息相邻的目标第一文本信息和所述目标第二文本信息输入至所述第一文本分类模型中，获取与所述目标第二音频段匹配的教学手段信息；

将与所述目标第二文本信息相邻的目标第一文本信息和所述目标第二文本信息输入至所述第二文本分类模型中，获取与所述目标第二音频段匹配的教学内容结构；

将所述目标第二音频段对应的教学手段信息和所述目标第二音频段对应的教学内容结构确定为与所述目标第二音频段对应的第二教学类型信息。

5.根据权利要求1所述的方法，其特征在于，还包括：

获取与所述课堂环境相匹配的索引模型；所述索引模型是通过教案构建的课堂中的知识点模型；

提取所述索引模型中的知识点文本，在所述目标第一文本信息中，确定与所述知识点文本匹配的文本信息的目标时间戳，并在所述第一音频信息中的目标时间戳的位置添加关键字标签；所述关键字标签中的文本与所述知识点文本相同；

当获取到查询关键词时，在所述第一音频信息中检索与所述查询关键词匹配的关键字标签，作为目标关键字标签；

在所述第一音频信息中，输出与所述目标关键字标签的时间戳对应的音频信息，并确定与所述目标关键字标签对应的音频信息的课程信息。