[发明专利]用于神经网络中的域适配的系统和方法

说明书

域适配模块(1800)用于使用来自域的相应平行隐藏层的相应输出来优化从第二域(1804)导出的第一域(1802)。

技术领域

本申请总体上涉及技术上有创造性的非常规解决方案，这些解决方案必须植根于计算机技术并产生具体的技术改进。

背景技术

机器学习(有时称为深度学习)可用于与数据理解、检测和/或分类有关的各种有用应用，包括图像分类、光学字符识别(OCR)、对象识别、动作识别、语音识别以及情绪识别。然而，如本文中所理解的，机器学习系统可能不足以使用来自另一个域的训练数据集(例如，电影视频)来识别例如一个域(诸如计算机游戏)中的动作。

例如，在计算机游戏行业中，视频和音频是两个独立的过程。首先设计和制作没有音频的游戏，然后音频小组调查整个游戏视频，并从音效(SFX)数据库中插入对应SFX，这非常耗时。如本文所理解的，机器学习可以用于加速该过程，但是当前动作识别模型是在真实世界视频数据集上训练的，从而使它们在用于游戏视频时受到数据集移位或数据集偏差的影响。

发明内容

为了克服上述域不匹配问题，训练数据(图像或视频或音频)的至少两个通用域用于对目标数据集进行分类。可以通过例如真实世界视频和计算机游戏视频、第一和第二说话者语音(用于语音识别)、标准字体文本和草书(用于手写识别)等来建立一对训练数据域。

因此，由损失函数和/或实际神经网络建立的通用域适配模块从深度学习的两个训练域接收来自多个输出点的输入，并提供输出测度，使得可以对神经网络的两个轨迹中的一个以及可能两个进行优化。也可以使用通用的跨域特征归一化模块，并将其插入到神经网络的任一层中。

因此，在一个方面，设备包括至少一个处理器和至少一个计算机存储装置，所述计算机存储装置不是瞬时信号并且包括可由至少一个处理器执行的指令。所述指令可执行以：访问与第一数据类型相关联的第一神经网络；访问与不同于第一数据类型的第二数据类型相关联的第二神经网络；将第一训练数据作为输入提供给第一神经网络；以及将第二训练数据作为输入提供给第二神经网络。第一训练数据不同于第二训练数据。所述指令还可执行以：识别来自第一层的第一输出，其中第一层是第一神经网络的输出层；以及识别来自第二层的第二输出，其中第二层是第二神经网络的输出层。第一输出是基于第一训练数据，并且第二输出是基于第二训练数据。所述指令还可执行以：基于第一输出和第二输出，确定对第三层的一个或多个权重的第一调整，其中第三层是第二神经网络的中间层。所述指令然后可执行以：选择第三层和第四层，其中第四层是第一神经网络的中间层。第三层和第四层是平行的中间层。所述指令还可执行以：将来自第三层的第三输出与来自第四层的第四输出进行比较，其中第三输出和第四输出是在将第三输出和第四输出分别提供给相应神经网络的随后的相应层之前的相应第三层和第四层的相应输出。第三输出和第四输出是分别基于第二训练数据和第一训练数据。所述指令然后可执行以：基于比较来确定对第三层的一个或多个权重的第二调整；以及基于对第一调整和第二调整两者的考虑来调整第三层的一个或多个权重。

在一些示例中，可以在将第二训练数据提供给第二神经网络之前通过第一神经网络的副本建立第二神经网络。

同样在一些示例中，第三层和第四层可以是除输出层之外的层，诸如相应神经网络的中间隐藏层。

在一些实现方式中，第一训练数据可以与第二训练数据相关。例如，第一神经网络和第二神经网络可以与动作识别有关，并且第一训练数据可以与第二训练数据相关，因为第一训练数据和第二训练数据两者都可以与同一动作有关。作为另一示例，第一神经网络和第二神经网络可以与对象识别有关，并且第一训练数据可以与第二训练数据相关，因为第一训练数据和第二训练数据两者都可以与同一对象有关。

更进一步，在一些实现方式中，所述指令可能够执行以将第三输出与第四输出进行比较以确定第三输出与第四输出的相似度，其中可以使用第一函数来评估相似度。同样在一些示例中，对第三层的一个或多个权重的第一调整的确定可以是基于与第一函数不同的第二函数。第一函数和第二函数可以是差异函数。