[发明专利]使用文本相似性将视觉标记映射到声音标记

说明书

将音效(SFX)记录在数据库中(202)以进行有效的搜索和检索。这可以通过对SFX进行分类(200)并使用机器学习引擎基于第一计算机模拟的视频属性与所述第一计算机模拟的经分类的SFX之间的习得的相关性来输出所述经分类的SFX中的第一个来实现。随后，可针对对象、动作和字幕识别处理没有声音的视频(306)以生成与SFX标记(1012)在语义上匹配(1010)的视频标记以使SFX与所述视频相关联(1014)。

技术领域

本申请总体上涉及技术上有创造性的非常规解决方案，这些解决方案必须植根于计算机技术并产生具体的技术改进。

背景技术

机器学习(有时也称为深度学习)可用于与数据理解、检测和/或分类相关的多种有用应用。在计算机模拟行业(诸如游戏行业)中，视频和音频是两个独立的过程。首先设计和制作没有音频的模拟，然后音频小组调查整个模拟视频，并从音效(SFX)数据库中插入对应SFX，这非常耗时。

发明内容

如本文所理解的，机器学习可用于通过提供与计算机模拟场景相关的SFX推荐来解决上面提到的技术问题。

因此，在一个方面，一种设备包括至少一个处理器和至少一个计算机存储装置，所述计算机存储装置不是瞬时信号并且包括指令，所述指令可由所述处理器执行以对音效(SFX)进行分类以呈现经分类的SFX。所述指令还可执行以：在语义上将所述经分类的SFX的SFX标签与从对至少第一视频中的属性的视频识别导出的视觉标签进行匹配，以将与所述SFX标签相关联的经分类的SFX合并到所述第一视频中。

在一些实施方案中，所述指令可执行以：基于对所述第一视频中的至少一个对象的识别和/或基于对所述第一视频中的至少一个动作的识别和/或基于对所述第一视频中的至少一个字幕的识别生成所述视觉标签。

在示例性实现方式中，所述指令可执行以：使用SFX标签与视觉标签之间的文本相似性在语义上将所述SFX标签与所述视觉标签进行匹配。

在一些实施方案中，所述指令可执行以：导出对应于所述视觉标签的第一数值向量；导出对应于所述SFX标签的第二数值向量；以及至少部分地通过计算所述第一向量与所述第二向量之间的距离来确定所述SFX标签与所述视觉标签的相似性。在此类实施方案中，所述指令可执行以：响应于确定所述第一向量与和第一SFX标签相关联的第二向量之间的距离小于所述第一向量与和第二SFX标签相关联的第二向量之间的距离，确定所述第一SFX标签比所述第二SFX标签更类似于视觉标签。

如果需要，所述指令可执行以将单个视觉标签映射到多个SFX标签。

在另一方面，一种方法包括：生成描述至少第一视频的至少一个属性的至少一个视觉标记；以及至少部分地基于所述视觉标记与至少一个SFX标记之间的语义相似性，将与所述SFX标记相关联的至少一个音效(SFX)与所述第一视频相关联。

在另一个方面，一种组件包括：至少一个计算机存储装置，所述至少一个计算机存储装置不是瞬时信号并且反而包括指令，所述指令可由至少一个处理器执行以用于识别描述至少第一视频的至少一个视觉标记。所述指令还可执行以用于至少部分地基于所述视觉标记与至少一个SFX标记之间的相似性，将与所述SFX标记相关联的至少一个音效(SFX)与所述第一视频相关联。

本申请的关于其结构和操作两者的细节可参考附图得到最好的理解，在附图中相同的附图标号指代相同的部分，并且在附图中：

附图说明

图1是符合本发明原理的示例性系统的框图；

图2是符合本发明原理的用于为视频或计算机模拟推荐音效(SFX)的示例性整体逻辑的流程图；

图3是说明图2的逻辑的框图；

图4是涉及从视频到SFX标记的直接映射的SFX标记的第一种方法的框图；