[发明专利]视频、讲义PPT和语音内容精准匹配的方法和系统

权利要求书

1.一种视频、讲义PPT和语音内容精准匹配的方法，其特征在于，包括以下步骤：

S1：视频采集处理：通过摄像机摄录教师讲课视频，同时通过教师上课播放PPT的电脑上安装的录屏软件录制电脑视频，以课程名为索引，将教师讲课视频和电脑视频进行合并处理；

S2：图像识别处理：根据图像变化将录屏软件录制的电脑视频分割为若干视频段，将视频中文字相同的视频段合并，记录视频分段的时间值；

S3：语音识别处理：提取教师讲课视频中的语音信息并转换为文字，记录每句话语的时间值；

S4：精准匹配：以课程名和时间值为索引，建立视频、图像、语音和内容之间的数据关联。

2.根据权利要求1所述的视频、讲义PPT和语音内容精准匹配的方法，其特征在于，步骤S1中，视频采集处理具体包括以下步骤：

S1.1：在课堂教学环境部署一台摄像机，以摄录教师讲课视频；

S1.2：在教师上课播放PPT的电脑上安装录屏软件，录制电脑视频；

S1.3：以课程名为索引，将教师讲课视频和电脑视频进行合并处理。

3.根据权利要求2所述的视频、讲义PPT和语音内容精准匹配的方法，其特征在于，步骤S1中，教师讲课视频和电脑视频所部署的网络环境一致，确保两路视频的时间戳保持一致。

4.根据权利要求1所述的视频、讲义PPT和语音内容精准匹配的方法，其特征在于，步骤S2中，图像识别处理具体包括以下步骤：

S2.1：根据图像变化将录屏软件录制的电脑视频分割为若干视频段；

S2.2：提取各视频段的第一帧图像；

S2.3：提取图像中的文字信息；

S2.4：比较文字是否发生变化；

S2.5：合并文字未发生变化的视频段；

S2.6：对于新的视频段重复步骤S2.1-S2.4，直到视频段数量没有变化，从而得到根据讲义PPT页面发生翻页时分割的视频段；

S2.7：记录各视频段的时间值，对应提取的文字，存入数据库。

5.根据权利要求1所述的视频、讲义PPT和语音内容精准匹配的方法，其特征在于，步骤S2中，所述方法还包括：直接提取PPT文件中每一页的文字信息并记录页码。

6.根据权利要求1所述的视频、讲义PPT和语音内容精准匹配的方法，其特征在于，步骤S3中，语音识别处理具体包括以下步骤：

S3.1：将教师讲课视频转换成音频文件；

S3.2：利用语音处理引擎，将音频转换成文字；

S3.3：对文字进行分词处理；

S3.4：对处理的分词进行词性标注；

S3.4：完成基础语义识别，记录每句话语的时间值，存入数据库。

7.根据权利要求1所述的视频、讲义PPT和语音内容精准匹配的方法，其特征在于，步骤S4中，所述方法还包括：

将音频转换成的到的文字作为字幕添加到教师讲课视频中。

8.根据权利要求1所述的视频、讲义PPT和语音内容精准匹配的方法，其特征在于，步骤S4中，所述方法还包括：

将处理过的视频、语音、文字同步至在线教学系统。

9.根据权利要求8所述的视频、讲义PPT和语音内容精准匹配的方法，其特征在于，步骤S4中，所述方法还包括：

提供搜索引擎，对数据库进行基于内容的搜索、定位，并在在线教学系统上进行视频播放。

10.一种视频、讲义PPT和语音内容精准匹配的方法，其特征在于，包括：

视频采集处理模块：用于通过摄像机摄录教师讲课视频，同时通过教师上课播放PPT的电脑上安装的录屏软件录制电脑视频，以课程名为索引，将教师讲课视频和电脑视频进行合并处理；

图像识别处理模块：用于根据图像变化将录屏软件录制的电脑视频分割为若干视频段，将视频中文字相同的视频段合并，记录视频分段的时间值；或者，直接提取PPT文件中每一页的文字信息并记录页码；

语音识别处理模块：用于提取教师讲课视频中的语音信息并转换为文字，记录每句话语的时间值；

精准匹配模块：用于以课程名和时间值为索引，建立视频、图像、语音和内容之间的数据关联。