[发明专利]基于图像处理语义分析的阅读环境音效增强系统及方法

权利要求书

1.一种基于图像处理和语义分析的阅读环境音效增强系统，其特征在于包括

用于获取用户的阅读图像的图像获取装置，以及

处理装置，所述处理装置包括用于分别控制传输单元、存储单元和音频单元执行传输、储存和音频合成的运算单元，

其中，所述的图像获取装置包括摄像头和/或智能阅读设备的文字截取工具，

其中，所述运算单元包括：

图像提取模块，用于接收所述图像获取装置的输入信号，然后转换为图像信号；

文字识别模块，用于处理该图像信号使之清晰且易于识别，通过该图像信号识别文字，将识别出的文字储存于缓存文本中，在该文本中将文字进行分类；

语义分析模块，用于识别分类后的文字语义，分别提取环境语义词及情绪语义词，然后将环境语义词及情绪语义词分别比对背景音乐库，获得环境背景音乐及情绪背景音乐，所述的语义分析模块包括：词语切分器，用于调用词库和统计语言模型对语段以全切分方式切分多个词语，然后为每个切分的词语计算权重值和情绪评分值；主题模型求解器，用于通过随机采样方法计算隐含狄利克雷模型的主题模型的最优解来表示各个切分词语的分类；和

音频合成模块，用于根据背景音乐进行音频合成及音效增强，所述的音频合成模块包括：

时域记录器，用于根据采集的图像的阅读目标区域的文字变化，记录一个或多个阅读时间节点，并且当累积的情绪评分值超过预设的阈值时记录一个或多个情绪时间节点，每个情绪时间节点与相应的情绪词在文段中的位置对应，然后将所述阅读时间节点和情绪时间节点整合生成时域控制条，其中所述的阅读目标区域的文字变化包括阅读设备的界面的文字中出现的分节符及结束符的变化；

混音器，用于根据所述时域控制条，通过包含有衰减因子的饱和器将背景音乐和音效音乐的音频信号在时域上进行叠加。

2.根据权利要求1所述的基于图像处理和语义分析的阅读环境音效增强系统，其中所述的文字截取工具包括屏幕截图工具、文字内存读取工具或阅读软件应用程序编程接口(API)调用工具。

3.根据权利要求1所述的基于图像处理和语义分析的阅读环境音效增强系统，其中所述图像获取装置通过一个或多个配件附属在用户的耳机、眼镜或可穿戴设备上。

4.根据权利要求3所述的基于图像处理和语义分析的阅读环境音效增强系统，其中所述系统还包括设置于所述图像获取装置中的第二运算单元，其中该第二运算单元包括：

图像预处理模块，用于对捕获的图像执行阅读目标区域的标定以及对阅读目标区域图像进行截取、校正、去噪和二值化处理；

传输模块，用于通过无线方式对预处理的图像进行压缩传输。

5.根据权利要求1所述的基于图像处理和语义分析的阅读环境音效增强系统，其中所述语义分析模块还包括：

词语特征提取器，用于对文本串的词语进行特征词分类，提取文本串中的环境词和情绪词。