[发明专利]一种电子绘本的生成方法、系统和电子绘本的播放方法

说明书

本发明提供一种电子绘本的生成方法、系统和电子绘本的播放方法，包括获取音视频中关键帧图片特征库与音频文本内容特征库；将关键帧图片索引文件与音频文本内容索引文件进行匹配；生成对应新索引的关键帧图片和音频文本内容匹配一致性映射关系；依据匹配一致性映射关系关键帧图片与音频文本内容同步播放。同时，通过本地数据处理系统实现对本地音视频特征库中关键帧图片与音频文本内容数据的采集、计算、存储、播放等功能，云端数据处理系统实现对云端音视频特征库中关键帧图片与音频文本内容数据的采集、少量数据计算、短期数据存储功能。该云端数据处理系统有效的解决了因用户端占用存储空间过大，而导致本地数据处理系统运算速度降低的问题。

技术领域

本发明涉及数据处理技术领域，尤其涉及一电子绘本的生成方法、系统和电子绘本的播放方法。

背景技术

目前，随着科技的不断发展，数字化电子阅读时代已经到来，儿童读物电子化成为普遍趋势，传统的纸质阅读慢慢转向电子阅读，从而市场上也出现了一些电子绘本。电子绘本即借助平板、手机等电子设备呈现的绘本，可以将APP下载到手机或电脑里，阅读的时候直接点开软件就可以观看；此外，电子绘本可内置多种媒体形式，如音频、视频等，能更好地激发儿童阅读兴趣

然而，就单独音频节目来说其内容比较单一缺少图片、文字等色彩信息，儿童在收听较长音频节目的过程中其兴趣会有显著降低。电子绘本结合图片、音频两种媒体形式，收听观看的灵活性更大。电子绘本需要同视频节目一样进行专门制作，且制作周期长成本都较高，其中音视频文件会占用较大的存储空间，因此生成的电子绘本也会占用较大的存储空间。同时，无法自动生成、准确翻页的播放体验效果。从而导致使用不够灵活方便给用户造成不便。

发明内容

本发明提供一种电子绘本的生成方法、系统和电子绘本的播放方法，将音视频的内容视通过频模型运算与音频模型算法获取关键帧图片与音频文本内容，关键帧图片与音频文本内容进行匹配，达到连续生成关键帧图片与音频文本内容的播放进度一致。

本发明实施例提供一种电子绘本的播放方法，所述播放方法包括：

获取音视频中关键帧图片特征库与音频文本内容特征库；所述关键帧图片特征库包括键帧图片索引文件，所述音频文本内容特征库包括音频文本内容索引文件；将所述关键帧图片索引文件与音频文本内容索引文件进行匹配；生成对应新索引的关键帧图片和音频文本内容匹配一致性映射关系；依据新索引的关键帧图片和音频文本内容匹配一致性映射关系同步播放关键帧图片与音频文本内容。

根据本发明的另一方面，还提供一种电子绘本的生成方法，所述生成方法包括如下步骤:

获取步骤，用于获取音视频中关键帧图片特征库与音频文本内容特征库，通过对所述关键帧图片特征库进行视频模型算法处理生成关键帧图片索引文件，通过对所述音频内容特征库进行音频模型算法处理生成音频文本内容索引文件；

匹配步骤，用于将所述关键帧图片索引文件与音频文本内容索引文件进行匹配；生成对应新索引的关键帧图片和音频文本内容匹配一致性映射关系；

生成步骤，用于根据新索引的关键帧图片和音频文本内容匹配一致性映射关系生成绘本模式。

在本发明提供的电子绘本的生成方法中，所述匹配步骤包括：通过视频模型算法对所述关键帧图片索引文件进行处理得到与所述关键帧图片对应的n组关键帧图片序号，通过音频模型算法对所述音频文本内容索引文件进行处理得到与所述音频文本内容对应的n组音频文本内容序号；将每一组所述关键帧图片序号与每一组所述音频文本内容序号进行匹配；生成对应新索引的所述关键帧图片序号与所述音频文本内容序号匹配一致性映射关系。