[发明专利]视频、讲义PPT和语音内容精准匹配的方法和系统

说明书

技术领域

本发明涉及信息技术领域和教育技术领域，更具体地，涉及一种视频、讲义PPT和语音内容精准匹配的方法和系统。

背景技术

现有课堂视频应用的技术方案，是以时间为维度来进行管理。在实际录制时，除了录制讲课视频之外，将电脑截屏也作为一路视频进行录制，然后将两个视频进行合并保存。应用到在线教学平台后，用户可以播放合并后的视频内容。由于两路视频的时间点基本一致，因此在拖拽时间进度条时，两路视频会保持同步。

现有技术方案的缺陷在于，用户无法获取自己感兴趣的知识内容，也无法精准匹配知识内容与教学视频资源的播放时段，造成在线教育的应用效率不高，浪费用户时间，影响教学质量。

发明内容

本发明旨在至少在一定程度上解决上述技术问题。

本发明的首要目的是提供一种视频、讲义PPT和语音内容精准匹配的方法，实现在线播放教学资源时，用户通过搜索服务，定位自己感兴趣的PPT讲义内容或者课堂语音内容，并且随时可定位点播相关时段的教学视频，播放相关页面的PPT讲义内容。

本发明的进一步目的是提供一种视频、讲义PPT和语音内容精准匹配的系统。

为解决上述技术问题，本发明的技术方案如下：

一种视频、讲义PPT和语音内容精准匹配的方法，包括以下步骤：

S1：视频采集处理：通过摄像机摄录教师讲课视频，同时通过教师上课播放PPT的电脑上安装的录屏软件录制电脑视频，以课程名为索引，将教师讲课视频和电脑视频进行合并处理；

S2：图像识别处理：根据图像变化将录屏软件录制的电脑视频分割为若干视频段，将视频中文字相同的视频段合并，记录视频分段的时间值；

S3：语音识别处理：提取教师讲课视频中的语音信息并转换为文字，记录每句话语的时间值；

S4：精准匹配：以课程名和时间值为索引，建立视频、图像、语音和内容之间的数据关联。

在一种优选的方案中，步骤S1中，视频采集处理具体包括以下步骤：

S1.1：在课堂教学环境部署一台摄像机，以摄录教师讲课视频；

S1.2：在教师上课播放PPT的电脑上安装录屏软件，录制电脑视频；

S1.3：以课程名为索引，将教师讲课视频和电脑视频进行合并处理。

在一种优选的方案中，步骤S1中，教师讲课视频和电脑视频所部署的网络环境一致，确保两路视频的时间戳保持一致。

在一种优选的方案中，步骤S2中，图像识别处理具体包括以下步骤：

S2.1：根据图像变化将录屏软件录制的电脑视频分割为若干视频段；

S2.2：提取各视频段的第一帧图像；

S2.3：提取图像中的文字信息；

S2.4：比较文字是否发生变化；

S2.5：合并文字未发生变化的视频段；

S2.6：对于新的视频段重复步骤S2.1-S2.4，直到视频段数量没有变化，从而得到根据讲义PPT页面发生翻页时分割的视频段；

S2.7：记录各视频段的时间值，对应提取的文字，存入数据库。

在一种优选的方案中，步骤S2中，所述方法还包括：直接提取PPT文件中每一页的文字信息并记录页码。

在一种优选的方案中，步骤S3中，语音识别处理具体包括以下步骤：

S3.1：将教师讲课视频转换成音频文件；

S3.2：利用语音处理引擎，将音频转换成文字；

S3.3：对文字进行分词处理；

S3.4：对处理的分词进行词性标注；

S3.4：完成基础语义识别，记录每句话语的时间值，存入数据库。

在一种优选的方案中，步骤S4中，所述方法还包括：

将音频转换成的到的文字作为字幕添加到教师讲课视频中，为视频自动增加字幕，可设置权限，让用户对内容进行校对后再保存处理。

在一种优选的方案中，步骤S4中，所述方法还包括：

将处理过的视频、语音、文字同步至在线教学系统，以便于查询和学习。

在一种优选的方案中，步骤S4中，所述方法还包括：

提供搜索引擎，对数据库进行基于内容的搜索、定位，并在在线教学系统上进行视频播放。

一种视频、讲义PPT和语音内容精准匹配的方法，包括：

视频采集处理模块：用于通过摄像机摄录教师讲课视频，同时通过教师上课播放PPT的电脑上安装的录屏软件录制电脑视频，以课程名为索引，将教师讲课视频和电脑视频进行合并处理；