[发明专利]用于域自适应学习的方法、装置、设备、介质和产品

说明书

本公开涉及用于域自适应学习的方法、装置、设备、介质和产品。在此描述的方法包括获取源域的源视频样本集和目标域的目标视频样本集，源视频样本集中的源视频样本被标记为属于多个已知类别中的一个；基于目标视频样本集中的多个目标视频样本与源视频样本集之间的多个相似度，确定多个目标视频样本各自属于未知类别的概率；以及至少基于多个目标视频样本及其相应的概率，使先前采用源视频样本集预训练的多分类模型适配于目标域。由此，能够实现更可靠的视频分类的域自适应学习。

技术领域

本公开总体上涉及计算机视觉领域，更特别地涉及用于域自适应学习的方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

域自适应(domain adaptation，DA)在计算机视觉领域具有先进性能。域自适应指的是将从具有足够监督信息的相关域(称为“源域”)学习到的知识迁移到没有监督信息的另一个域(称为“目标域”)。例如，对于分类任务，域自适应指的是将通过带有分类标签的训练数据训练得到的分类器迁移到分类标签未知的数据域。

当前已经提出的域自适应学习的大多数方法都基于封闭集的假设，即假设源域包含目标域中的所有类别。然而，这样的假设在很多实际应用可能不成立。实际应用中更常见的场景是目标域存在与源域不对应的类别，例如目标域存在比源域更多的类别。这样的域自适应称为“开放集”域自适应。相比于封闭集的假设，在开放集域自适应中未知类别的存在使模型从源域到目标域的迁移学习更困难，容易出现错误迁移问题。

此外，由于视频数据在空间和时间维度上的信息更复杂，因此在针对视频数据的域自适应学习也面临更大挑战。期望能够提供更可靠的域自适应学习方案，特别是针对视频数据的域自适应学习方案。

发明内容

根据本公开的一些实施例，提供了一种用于域自适应学习的方案。

在本公开的第一方面，提供了一种用于域自适应学习的方法。该方法包括获取源域的源视频样本集和目标域的目标视频样本集，源视频样本集中的源视频样本被标记为属于多个已知类别中的一个；基于目标视频样本集中的多个目标视频样本与源视频样本集之间的多个相似度，确定多个目标视频样本各自属于未知类别的概率；以及至少基于多个目标视频样本及其相应的概率，使先前采用源视频样本集预训练的多分类模型适配于目标域。

在本公开的第二方面，提供了一种用于域自适应学习的装置。该装置包括获取模块，被配置为获取源域的源视频样本集和目标域的目标视频样本集，所述源视频样本集中的源视频样本被标记为属于多个已知类别中的一个；概率确定模块，被配置为基于所述目标视频样本集中的多个目标视频样本与所述源视频样本集之间的多个相似度，确定所述多个目标视频样本各自属于未知类别的概率；以及域适配模块，被配置为至少基于所述多个目标视频样本及其相应的所述概率，使先前采用所述源视频样本集预训练的多分类模型适配于所述目标域。

在本公开的第三方面，提供了一种电子设备，包括存储器和处理器，其中存储器用于存储计算机可执行指令，计算机可执行指令被处理器执行以实现根据本公开的第一方面的方法。

在本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机可执行指令，其中计算机可执行指令被处理器执行实现根据本公开的第一方面的方法。

在本公开的第五方面，提供了一种计算机程序产品，包括计算机程序/指令，计算机程序/指令被处理器执行时实现根据本公开的第一方面的方法。

附图说明

结合附图并参考以下详细说明，本公开各实现方式的特征、优点及其他方面将变得更加明显。在此以示例性而非限制性的方式示出了本公开的若干实现方式，在附图中：

图1示出了根据本公开的一些实施例的用于域自适应学习的示例环境的框图；

图2示出了根据本公开的一些实施例的用于域自适应学习的架构框图；