[发明专利]基于图像处理语义分析的阅读环境音效增强系统及方法

说明书

本发明公开了一种基于图像处理和语义分析的阅读环境音效增强系统和方法。其中系统，包括图像获取装置以及处理装置，所述处理装置包括用于分别控制传输单元、存储单元和音频单元执行传输、储存和音频合成的运算单元。所述运算单元包括图像提取模块、文字识别模块、语义分析模块和音频合成模块。其中的方法包括图像提取、文字识别、语义分析、音频合成及音效增强步骤。本发明根据当前阅读的具体内容来选择场景音乐和情绪音乐，并通过音频合成及增强技术生成合适的背景音乐，更大程度上提供阅读者身临其境的阅读感受。

技术领域

本发明涉及基于图像处理和语义分析配置阅读背景音乐和音效的系统及方法，尤其涉及一种方法，通过分析处理获取的阅读页面图像，确定阅读页中文本语义的环境及情绪属性，并根据该文本语义选择音乐和音效素材合成阅读背景音乐和音效，以获得阅读环境的音效增强效果。

背景技术

阅读文学作品、杂志、报纸时搭配相应的背景音效和音乐能增强现场体验感、提高阅读效率。利用节奏舒缓的音乐来刺激大脑，可以消除心理压力，使读者注意力集中、同时增强大脑活力。如果播放节奏缓慢的古典音乐，读者的记忆力可以提高百分之五十；如果根据文章内容搭配情景音乐音效，还能够产生印象深刻的阅读体验。

在阅读背景音乐的智能化选择方面，现有的方法是建立一个阅读物库和一个背景音乐库，根据阅读物的总体内容，事先人工确定好对应的背景音乐曲目，建立阅读物和背景音乐曲目的对应关系。一旦读者选择阅读某份阅读物，系统就自动提取对应的背景音乐曲目并予以播放。该系统的缺点首先是阅读物的数量受限，读者不能阅读不在该库的阅读物；其次，系统只能提供数量有限的背景音乐，而不能提供体现环境、场景特征的音效，缺乏阅读的身临其境感；第三，由于音乐曲目只是在总体上与阅读物的内容相匹配，因此在具体章节上会存在该音乐不能适应阅读物情境，甚至与阅读物情境相矛盾的情况。因此，现有的阅读背景音乐系统软硬件产品还存在很大的不足，不能实时识别阅读物的文本并确定阅读内容的实时场景和情绪，不能提供反映阅读内容场景和情绪的音效和音乐，阅读的愉悦感一般，阅读的身临其境感很差。

发明内容

本发明提出一种基于图像处理和语义分析的阅读环境音效增强系统及方法，根据当前阅读的实时内容匹配场景音效和情绪音乐，并通过音频合成及增强技术生成合适的背景音效，更大程度上提高阅读者身临其境的阅读感受。

本发明采用的技术方案一方面为一种基于图像处理和语义分析的阅读环境音效增强系统，包括图像获取装置以及处理装置。图像获取装置用于获取用户的实时阅读内容的图像。处理装置包括传输单元、存储单元和音频单元和用于控制传输单元、存储单元和音频单元分别执行传输、储存和音频合成的运算单元。所述运算单元包括：图像提取模块，用于接收所述图像获取装置的输入信号，然后转换为图像信号；文字识别模块，用于处理该图像信号使之清晰且易于识别，通过该图像信号识别文字，将识别出的文字储存于缓存文本中，在该文本中将文字进行分类；语义分析模块，用于识别分类后的文字语义，分别提取环境语义词及情绪语义词，然后将环境语义词及情绪语义词分别比对背景音乐库，获得环境背景音效和情绪背景音乐；音频合成模块，用于将背景音效和音乐进行音频合成及音效增强。

进一步，其中所述的图像获取装置包括摄像头和/或智能阅读设备的文字截取工具，该文字截取工具包括屏幕截图工具、文字内存读取工具或阅读软件API调用工具。

进一步，其中所述图像获取装置通过一个或多个配件附属在用户的耳机、眼镜或可穿戴设备上。

进一步，其中所述系统还包括设置于所述图像获取装置中的第二运算单元，其中该第二运算单元包括：图像预处理模块，用于对获取的图像执行阅读目标区域的标定以及对阅读目标区域图像进行截取、校正、去噪和二值化处理；传输模块，用于通过无线方式对预处理的图像进行压缩传输。