[发明专利]视频物体音效构建方法、系统、装置及可读存储介质

权利要求书

1.一种视频物体音效构建方法，其特征在于，包括以下步骤：

对待处理视频进行识别处理，得到待处理视频中的特定发声物体的种类并提取其发声特征；

基于发声特征构建特定发声物体的物体类别和特定发声物体音频，其中，音频包括音频介绍和音频关键词；

基于特定发声物体的物体类别、音频介绍以及音频关键词进行分数匹配处理分别得到第一匹配分数和神经网络匹配分数；

基于第一匹配分数和神经网络匹配分数得到视频音频匹配分数，根据视频音频匹配分数得到特定发声物体至少一种合适的音频；

所述基于特定发声物体的物体类别、音频介绍以及音频关键词进行分数匹配处理分别得到第一匹配分数和神经网络匹配分数，具体为：

对特定发声物体的物体类别和音频介绍进行分词处理得到单词；

分别获取特定发声物体的物体类别与音频介绍、音频关键词重合的单词比例，得到第一比例和第二比例，将第一比例和第二比例进行加权平均处理，得到单词匹配分数，所述单词匹配分数＝物体类别和音频介绍的单词重合比例*音频介绍权重+物体类别和音频关键词单词重合比例*音频关键词权重，其中，音频介绍权重+音频关键词权重＝1；

基于音频介绍的统计数据，得到物体类别TF-IDF向量，通过物体类别TF-IDF向量与音频介绍TF-IDF向量的第一余弦相似度，将第一余弦相似度作为TF-IDF匹配分数，所述TF-IDF匹配分数＝cosine_similarity(物体类别TF-IDF向量，音频介绍TF-IDF向量)；

将单词匹配分数和TF-IDF匹配分数进行加权平均处理，得到第一匹配分数，所述第一匹配分数＝单词匹配分数*单词权重+TF-IDF匹配分数*TF-IDF权重，其中，单词权重+TF-IDF权重＝1；

获取特定发声物体的物体类别的BERT向量和音频介绍的BERT向量，经过计算得到BERT向量的余弦相似度，将余弦相似度作为神经网络匹配分数。

2.根据权利要求1所述的视频物体音效构建方法，其特征在于，所述对待处理视频进行识别处理，得到待处理视频中的特定发声物体的种类并提取其发声特征，具体为：

将待处理的视频的相关信息降低抽帧频率，抽取视频关键帧；

将抽取的视频关键帧生成帧图流；

采用深度卷积神经网络模型对所述帧图流进行模块化多物体识别，得到模块化的特定发声物体；

对模块化的特定发声物体通过深度残差网络模型进行多级识别分析处理，得到待处理视频中的特定发声物体的种类并提取其发声特征。

3.根据权利要求1所述的视频物体音效构建方法，其特征在于，音频介绍为音频的介绍内容文本，音频关键词包括至少三个描述音频的词语，所述描述音频的词语包括特定发声物体的类别名称和发声声音的类别名称。

4.根据权利要求1所述的视频物体音效构建方法，其特征在于，所述基于第一匹配分数和神经网络匹配分数得到视频音频匹配分数，具体为：

将第一匹配分数和神经网络匹配分数进行加权平均处理，得到视频音频匹配分数，所述视频音频匹配分数＝第一匹配分数*第一权重+神经网络匹配分数*神经网络权重，其中，第一权重+神经网络权重＝1。

5.根据权利要求1所述的视频物体音效构建方法，其特征在于，所述根据视频音频匹配分数得到特定发声物体的一种或者几种合适音频步骤之后还包括：

根据视频音频匹配分数将特定发声物体与选择的音频进行搜索匹配，使得音频介绍、音频关键词与特定发声物体的物体类别相互匹配；

将所有音频进行混音处理，形成完整的音频文件，将音频文件添加进视频的音轨使得音频文件和视频同步。