[发明专利]一种多媒体数字融合方法和装置

权利要求书

1.一种多媒体数字融合方法，其特征在于，所述方法包括：

获取待融合的多媒体数据集；

根据预设策略对所述多媒体数据集的每个音视频数据进行分析，并通过生成的分析结果经过预设分类模型确定所述多媒体数据集的分类信息；

提取所述多媒体数据集同一分类信息下的至少两个待处理的音视频数据帧序列；

将所述至少两个待处理的音视频数据帧序列定义为融合帧，其它音视频数据帧序列定义为标定帧；

将所述融合帧以及所述标定帧进行融合，完成所述多媒体数据集的融合操作；

其中，所述根据预设策略对所述多媒体数据集的每个音视频数据进行分析，并通过生成的分析结果经过预设分类模型确定所述多媒体数据集的分类信息之前，还包括：获取多种类型、各类型的多个类别和每个类别对应的多张图片样本作为训练数据集；

根据所述训练数据集对预设的分类模型进行训练，生成所述预设分类模型；

预设策略包括：根据不同声学噪声环境下的音视频数据，得到声学似然度和视觉似然度，并据此得到声学模态可靠度、视觉模态可靠度和最优权重，并据此训练人工神经网络；

根据声学类别和视觉类别，利用人工神经网络，对待测音视频进行并行的基于声学和视觉的双模态的二次关键词识别，从而得到音视频数据的类别出现的频率；

确定所述融合帧与所述标定帧之间的属性关系；

所述属性关系包括亮度关系与色度关系；

针对融合帧，基于确定的所述融合帧与所述标定帧之间的属性关系，对所述融合帧的属性进行自适应调整；

其中，所述根据预设策略对所述多媒体数据集的每个音视频数据进行分析，并通过生成的分析结果经过预设分类模型确定所述多媒体数据集的分类信息包括：

根据预设策略从预设多媒体数据库中查找所述多媒体数据集的每个音视频数据的类别，并统计所述音视频数据的类别出现的频率；

根据所述频率确定所述多媒体数据集的分类信息。

2.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现所述权利要求1中任一项所述方法的步骤。

3.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现所述权利要求1中任一项所述方法的步骤。

4.一种多媒体数字融合装置，其特征在于，所述装置包括：

获取模块，用于获取待融合的多媒体数据集；

分析与确定模块，用于根据预设策略对所述多媒体数据集的每个音视频数据进行分析，并通过生成的分析结果经过预设分类模型确定所述多媒体数据集的分类信息；

提取模块，用于提取所述多媒体数据集同一分类信息下的至少两个待处理的音视频数据帧序列；

定义模块，用于将所述至少两个待处理的音视频数据帧序列定义为融合帧，其它音视频数据帧序列定义为标定帧；

融合模块，用于将所述融合帧以及所述标定帧进行融合，完成所述多媒体数据集的融合操作；

其中，所述根据预设策略对所述多媒体数据集的每个音视频数据进行分析，并通过生成的分析结果经过预设分类模型确定所述多媒体数据集的分类信息之前，还包括：获取多种类型、各类型的多个类别和每个类别对应的多张图片样本作为训练数据集；

根据所述训练数据集对预设的分类模型进行训练，生成所述预设分类模型；

预设策略包括：根据不同声学噪声环境下的音视频数据，得到声学似然度和视觉似然度，并据此得到声学模态可靠度、视觉模态可靠度和最优权重，并据此训练人工神经网络；

根据声学类别和视觉类别，利用人工神经网络，对待测音视频进行并行的基于声学和视觉的双模态的二次关键词识别，从而得到音视频数据的类别出现的频率；

确定所述融合帧与所述标定帧之间的属性关系；

所述属性关系包括亮度关系与色度关系；

还包括：自适应调整模块，用于针对融合帧，基于确定的所述融合帧与所述标定帧之间的属性关系，对所述融合帧的属性进行自适应调整；

其中，所述根据预设策略对所述多媒体数据集的每个音视频数据进行分析，并通过生成的分析结果经过预设分类模型确定所述多媒体数据集的分类信息包括：

根据预设策略从预设多媒体数据库中查找所述多媒体数据集的每个音视频数据的类别，并统计所述音视频数据的类别出现的频率；

根据所述频率确定所述多媒体数据集的分类信息。