[发明专利]使用机器学习模型的游戏播放视频的无监督分类

说明书

在各种例子中，有可能有突出显示价值的视频片段从游戏播放会话中被识别出来，然后玩家可以选择性地共享或存储这些视频片段以供以后观看。视频片段基于分析用于预期兴趣的持续时间的游戏数据以无监督的方式被识别。分类模型可以以无监督的方式进行训练，以便对那些视频片段进行分类，而无需手动标记特定于游戏的图像或音频数据。玩家可以选择视频片段作为突出显示(例如，在社交媒体上共享、存储在精彩片段中等)。分类模型可以基于新的视频片段进行更新和改进，例如通过创建新的视频片段分类。

相关申请的交叉引用

本申请要求于2019年6月28日提交的62/868654号美国临时申请的权益，其全部内容以引用方式并入本文中。

背景技术

确定视频或视频片段的特定部分是否包括感兴趣的内容(例如，更多的动作)在各种环境中可能是有用的。例如，游戏应用程序的玩家(例如“游戏玩家”)可以使用软件将他或她的整个游戏播放会话(例如，通常30分钟到1小时或更长时间)记录到本地计算机上，这通常会产生大的视频文件(例如，几个GB)，其共享困难或耗时，占用大量存储空间，并且可能包括一些不那么感兴趣或非计划中的内容。游戏玩家可能希望只共享或保存较大视频中更感兴趣的部分片段(例如，表现出更高的动作集中度的30秒左右的视频片段)，而不是共享或保存整个视频文件。

传统的系统可以识别和分类感兴趣的视频片段，以帮助玩家。为此，系统可以依赖一个对象检测模型，其被训练为使用特定的视觉数据来检测游戏视频中可能与潜在的感兴趣的视频片段相关联的对象。然后，系统可以根据检测到的对象识别和分类可能感兴趣的视频片段。然而，目标检测模型可能相对容易出错，并且容易被错误描述。例如，对象检测模型的准确性通常取决于可视数据的质量，这可能是高度可变的，特别是在流场景中。此外，由于目标检测模型是使用监督学习进行训练的，因此可能需要大量被标记的特定于游戏的训练数据，这些数据可能难以生成，和/或可能需要手动标记。因此，每个游戏或应用程序通常需要一个单独的对象检测模型。此外，许多游戏经常更新新内容(例如，新角色和新武器)，这些内容在训练数据中没有被考虑到，这可能需要重新训练或进一步降低目标检测模型的准确性。

总结

本公开的实施例涉及游戏播放视频片段的无监督分类。公开了一种系统和方法，其以游戏不可知论的无监督的方式识别感兴趣的视频片段，并且通过聚类将感兴趣的视频片段分组为分类。然后，可以根据视频片段与集群的比较对其他视频片段进行分类。

与传统系统(如上文所述)不同，可以分析数据(可以是游戏不可知论)，以及与游戏播放有关的数据(例如，用户输入数据)，从而以无监督的方式从游戏播放会话的视频(实时的或录制的)中识别可能值得突出显示的预期兴趣持续时间。这种无监督的方法可以用于选择片段来训练分类模型，或者从游戏播放视频中识别潜在的感兴趣片段。

一旦识别出训练数据，根据预期兴趣的持续时间生成的片段就可以使用无监督学习进行分类。为此，视频片段的特征(例如，特征向量)可以由训练好的图像分类器的训练好的特征提取器(例如，卷积神经网络)提取，然后将特征聚类以识别分类。由于特征提取器已经学习了在一般意义上什么样的图像特征对于分类很重要，因此这些特征可以被聚类到有意义的分类中，而不依赖于过于具体的游戏内容，例如识别特定的对象。在本公开的各个方面中，可以以每帧为基础聚类视频片段。例如，为了训练分类模型，可以从每个视频片段中选择多个帧，并且可以将每个帧的特征向量聚集到组或集群中。集群可以构成分类的基础，其可以由用户或算法分配一个标签。然后，可以使用分类模型对视频片段进行分类(例如，从实况或录制的游戏播放会话中)。这可以包括用于对视频片段进行分类的多个帧的每个帧，基于其与分类或集群的相似性对帧进行分类，并基于分配给组成帧的分类将一个或更多个类分配给整个视频片段。对帧进行分类可以包括确定视频片段的帧的特征向量和与类或集群相关的一个或更多个特征向量的相似性(例如，使用距离度量)。该技术也可用于识别新的分类，例如识别不满足距离阈值的特征向量。