[发明专利]智能教学录屏方法和系统有效
申请号: | 202010857325.7 | 申请日: | 2020-08-24 |
公开(公告)号: | CN112019786B | 公开(公告)日: | 2021-05-25 |
发明(设计)人: | 崔炜 | 申请(专利权)人: | 上海松鼠课堂人工智能科技有限公司 |
主分类号: | H04N5/76 | 分类号: | H04N5/76;G10L21/0208;G10L25/51;G10L25/60;G09B5/06 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 200237 上海市徐*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 智能 教学 方法 系统 | ||
1.智能教学录屏方法,其特征在于,其包括如下步骤:
步骤S1,收集标准声音信号以及录屏过程中录入的实际声音信号,并对所述标准声音信号和所述实际声音信号进行时域分析处理和频域分析处理;
步骤S2,根据所述时域分析处理和所述频域分析处理的结果,确定所述标准声音信号与所述实际声音信号之间的相似性评价值,再根据所述相似性评价值,对所述实际声音信号进行优化处理,以此得到优化声音信号;
步骤S3,确定所述优化声音信号对应的信号统计误差信息,并根据所述信号统计误差信息,执行所述优化声音信号与所述录屏过程得到的录屏图像的相互组合匹配;
其中,在所述步骤S1中,收集标准声音信号以及录屏过程中录入的实际声音信号,并对所述标准声音信号和所述实际声音信号进行时域分析处理和频域分析处理具体包括,
步骤S101,对若干历史教学过程进行录音,以此得到相应的历史教学声音信号,再从若干所述历史教学声音信号提取共同存在的声音信号,以此作为所述标准声音信号;
步骤S102,对所述标准声音信号进行时域分析处理和频域分析处理,以此从所述标准声音信号中提取得到第一时域特征参数、第一频域特征参数和第一倒谱频域特征参数;
步骤S103,对所述实际声音信号进行时域分析处理和频域分析处理,以此从所述实际声音信号中提取得到第二时域特征参数、第二频域特征参数和第二倒谱频域特征参数;
其中,在所述步骤S2中,根据所述时域分析处理和所述频域分析处理的结果,确定所述标准声音信号与所述实际声音信号之间的相似性评价值,再根据所述相似性评价值,对所述实际声音信号进行优化处理,以此得到优化声音信号具体包括,
步骤S201,根据下面公式(1),确定所述标准声音信号与所述实际声音信号之间的相似性评价值:
在上述公式(1)中,simA表示所述标准声音信号与所述实际声音信号之间的相似性评价值,xi表示从所述实际声音信号中提取的第i个第二时域特征参数,m表示第二时域特征参数的总数量,xj表示从所述标准声音信号中提取的第j个第一时域特征参数,n表示第一时域特征参数的总数量,yh表示从所述实际声音信号中提取的第h个第二频域特征参数,e表示第二频域特征参数的总数量,yk表示从所述标准声音信号中提取的第k个第一频域特征参数,f表示第一频域特征参数的总数量,zp表示从所述实际声音信号中提取的第p个第二倒谱频域特征参数,r表示第二倒谱频域特征参数的总数量,zq表示从所述标准声音信号中提取的第q个第一倒谱频域特征参数,s表示第一倒谱频域特征参数的总数量;
步骤S202,将所述相似性评价值与预设相似度评价阈值进行比对,若所述相似性评价值大于或者等于所述预设相似度评价阈值,则对所述实际声音信号进行滤波降噪处理,以此得到所述优化声音信号,若所述相似性评价值小于所述预设相似度评价阈值,则重新录入实际声音信号,并再次确定所述标准声音信号与重新录入的实际声音信号之间的相似性评价值,直达所述相似性评价值大于或者等于所述预设相似度评价阈值时,再对重新录入的实际声音信号进行滤波降噪处理,以此得到所述优化声音信号;
其中,在所述步骤S3中,确定所述优化声音信号对应的信号统计误差信息,并根据所述信号统计误差信息,执行所述优化声音信号与所述录屏过程得到的录屏图像的相互组合匹配具体包括,
步骤S301,根据下面公式(2),确定所述优化声音信号与所述标准声音信号之间的实际均方误差:
在上述公式(2)中,MSE1表示所述优化声音信号与所述标准声音信号之间的实际均方误差,表示所述标准声音信号中第t帧声音片段的功率,表示所述优化声音信号中第t帧声音片段的功率,c表示所述标准声音信号和所述优化声音信号中声音片段各自对应的总数量;
步骤S302,根据下面公式(3),确定所述实际均方误差MSE1与预设均方误差MSE2之间的比值Q:
在上述公式(3)中,所述预设均方误差MSE2的取值范围为[0.1,0.6];
步骤S303,若所述比值Q小于或者等于1,则根据所述录屏过程对应的录屏操作时序信息,将所述优化声音信号与所述录屏图像进行组合匹配,若所述比值Q大于1,则对所述优化声音信号再次进行滤波降噪处理,并根据再次经过滤波降噪处理后的优化声音信号,重新确定所述比值Q,以及在重新确定的比值Q小于或者等于1时,根据所述录屏过程对应的录屏操作时序信息,将再次经过滤波降噪处理后的优化声音信号与所述录屏图像进行组合匹配。
2.智能教学录屏系统,其特征在于,其包括声音信号获取模块、声音信号预处理模块、优化声音信号生成模块和声音信号-录屏图像组合模块;其中,
所述声音信号获取模块用于收集标准声音信号以及录屏过程中录入的实际声音信号;
所述声音信号预处理模块用于对所述标准声音信号和所述实际声音信号进行时域分析处理和频域分析处理;
所述优化声音信号生成模块用于根据所述时域分析处理和所述频域分析处理的结果,确定所述标准声音信号与所述实际声音信号之间的相似性评价值,再根据所述相似性评价值,对所述实际声音信号进行优化处理,以此得到优化声音信号;
所述声音信号-录屏图像组合模块用于确定所述优化声音信号对应的信号统计误差信息,并根据所述信号统计误差信息,执行所述优化声音信号与所述录屏过程得到的录屏图像的相互组合匹配;
其中,所述声音信号获取模块收集标准声音信号具体包括对若干历史教学过程进行录音,以此得到相应的历史教学声音信号,再从若干所述历史教学声音信号提取共同存在的声音信号,以此作为所述标准声音信号;所述声音信号预处理模块对所述标准声音信号和所述实际声音信号进行时域分析处理和频域分析处理具体包括,
对所述标准声音信号进行时域分析处理和频域分析处理,以此从所述标准声音信号中提取得到第一时域特征参数、第一频域特征参数和第一倒谱频域特征参数,
并对所述实际声音信号进行时域分析处理和频域分析处理,以此从所述实际声音信号中提取得到第二时域特征参数、第二频域特征参数和第二倒谱频域特征参数;
其中,所述优化声音信号生成模块根据所述时域分析处理和所述频域分析处理的结果,确定所述标准声音信号与所述实际声音信号之间的相似性评价值,再根据所述相似性评价值,对所述实际声音信号进行优化处理,以此得到优化声音信号具体包括,
根据下面公式(1),确定所述标准声音信号与所述实际声音信号之间的相似性评价值:
在上述公式(1)中,simA表示所述标准声音信号与所述实际声音信号之间的相似性评价值,xi表示从所述实际声音信号中提取的第i个第二时域特征参数,m表示第二时域特征参数的总数量,xj表示从所述标准声音信号中提取的第j个第一时域特征参数,n表示第一时域特征参数的总数量,yh表示从所述实际声音信号中提取的第h个第二频域特征参数,e表示第二频域特征参数的总数量,yk表示从所述标准声音信号中提取的第k个第一频域特征参数,f表示第一频域特征参数的总数量,zp表示从所述实际声音信号中提取的第p个第二倒谱频域特征参数,r表示第二倒谱频域特征参数的总数量,zq表示从所述标准声音信号中提取的第q个第一倒谱频域特征参数,s表示第一倒谱频域特征参数的总数量,
将所述相似性评价值与预设相似度评价阈值进行比对,若所述相似性评价值大于或者等于所述预设相似度评价阈值,则对所述实际声音信号进行滤波降噪处理,以此得到所述优化声音信号,若所述相似性评价值小于所述预设相似度评价阈值,则重新录入实际声音信号,并再次确定所述标准声音信号与重新录入的实际声音信号之间的相似性评价值,直达所述相似性评价值大于或者等于所述预设相似度评价阈值时,再对重新录入的实际声音信号进行滤波降噪处理,以此得到所述优化声音信号;其中,所述声音信号-录屏图像组合模块确定所述优化声音信号对应的信号统计误差信息,并根据所述信号统计误差信息,执行所述优化声音信号与所述录屏过程得到的录屏图像的相互组合匹配,
根据下面公式(2),确定所述优化声音信号与所述标准声音信号之间的实际均方误差:
在上述公式(2)中,MSE1表示所述优化声音信号与所述标准声音信号之间的实际均方误差,表示所述标准声音信号中第t帧声音片段的功率,表示所述优化声音信号中第t帧声音片段的功率,c表示所述标准声音信号和所述优化声音信号中声音片段各自对应的总数量;
再根据下面公式(3),确定所述实际均方误差MSE1与预设均方误差MSE2之间的比值Q:
在上述公式(3)中,所述预设均方误差MSE2的取值范围为[0.1,0.6];最后若所述比值Q小于或者等于1,则根据所述录屏过程对应的录屏操作时序信息,将所述优化声音信号与所述录屏图像进行组合匹配,若所述比值Q大于1,则对所述优化声音信号再次进行滤波降噪处理,并根据再次经过滤波降噪处理后的优化声音信号,重新确定所述比值Q,以及在重新确定的比值Q小于或者等于1时,根据所述录屏过程对应的录屏操作时序信息,将再次经过滤波降噪处理后的优化声音信号与所述录屏图像进行组合匹配。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海松鼠课堂人工智能科技有限公司,未经上海松鼠课堂人工智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010857325.7/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种高层建筑安装或拆卸空调外机吊运装置
- 下一篇:一种海量知识图谱检索的方法