[发明专利]基于云平台的演讲内容提取方法及装置

摘要

一种基于云平台的演讲内容提取方法及装置，包括：采集演讲的音视频，将采集到的音视频缓存到PC中，并进行预处理；发送预处理后的音视频及相关资料包括演讲幻灯片、相关阅读材料等到服务器；服务器对接收的音频进行语音切分、把音频按说话人分割；进行自动语音识别把分割后的音频转换为文字，语音识别使用声学自适应和语言模型自适应；从语音识别的文本中提取关键字和生成内容笔记。该方法通过语音识别把音频识别成能反复阅读的文本形式，使用语言模型自适应和声学模型自适应提高识别准确率。并进行知识整合，避免把时间花在阅读冗余信息上。本发明还公开了一种基于云平台的演讲内容提取装置，包括演讲录制模块、材料发送模块、语音分割模块、语音识别模块和关键字和内容笔记提取模块。

主权项

1.一种基于云平台的演讲内容提取装置，其特征在于，包括：用于采集演讲音视频，将采集到的音视频缓存到教室的PC机中，并进行预处理的演讲录制模块、用于发送预处理后的音视频及演讲幻灯片、相关阅读材料到服务器的材料发送模块、用于对接收的音频进行语音切分、把音频按说话人分割的语音分割模块、用于进行自动语音识别把分割后的音频转换为文字的语音识别模块，使用声学自适应和语言模型自适应以及用于服务器从文字中提取关键字和生成内容笔记的关键字和内容笔记提取模块；/n所述的采集包括：使用麦克风、摄像头采集演讲的音视频，利用有线或无线网络同时缓存到PC中；使用PC对音频进行语音增强去除噪音，并对音视频进行压缩处理；/n所述的语音切分的方式为服务器对接收的音频进行语音活动检测，按照语音的停顿进行切分；所述的按说话人分割语音的方式为识别每段语音的说话人，按说话人分割音频；/n所述的声学自适应包括对录音环境、噪音类型、说话人类型的适应；所述的语言模型自适应包括对演讲幻灯片和相关阅读材料中专业词汇的适应；/n所述的提取包括：提取语音识别的文本中跟演讲内容相关的关键字，并根据文本中每句与演讲内容的相关度提取与演讲相关的笔记；/n所述的演讲录制模块通过麦克风、摄像头采集演讲的音视频，利用有线或无线网络同时缓存到PC中，使用PC对音频进行语音增强去除噪音，并对音视频进行压缩处理；/n所述的语音切分对接收的音频进行语音活动检测，按照语音的停顿进行切分；所述的按说话人分割语音用于识别每段语音的说话人，按说话人分割音频，具体为：根据短时能量和过零率检测切分出有语音的部分，并提取每段语音的i-vector识别说话人为老师和不同的学生；/n所述的语音识别模块用于使用自动语音识别得到每句音频对应的文本，所述的声学自适应用于对录音环境、噪音类型、说话人类型的适应；所述的语言模型自适应用于对演讲幻灯片和相关阅读材料中专业词汇的适应，具体为：训练模型时把音频按i-vector进行聚类，对每个聚类的音频训练一个基于深度神经网络的声学模型，识别音频时找到其i-vector最近的聚类，并使用此聚类的声学模型；/n所述的关键字和内容笔记提取模块用于提取语音识别的文本中跟演讲内容相关的关键字，并根据文本中每句与演讲内容的相关度提取与演讲相关的笔记，具体为：使用TF-IDF统计深度学习课件和扩展阅读中的关键字，并使用基于递归神经网络的语言模型计算领域内的关键字的复杂度：