[发明专利]神经网络的标注系统

说明书

本申请中公开了一种用于神经网络的标注系统及其方法。该标注系统包括存储器和可操作地耦合到该存储器的处理器。所述存储器被配置为用于存储指令，其接收包括来自一个或多个信息源的第一组未标记实例；设定该信息的学习目标；通过执行软件算法从第一组未标记实例中选出第二组已筛选未标记实例；并对第二组已筛选未标记实例进行标注，用于生成已标记数据。该软件算法通过数据增强方法将半监督学习和迁移学习相结合，提高了在训练神经网络地标注效率，因此可用于基于深度学习的视频分析。该软件算法可以通过将标注量减少一个数量级来提高标注效率。

本申请要求新加坡专利申请的优先权，其申请号为10201805864P，申请日为2018年7月7日，其标题为“结合半监督学习和迁移学习的软件算法，以提高标注效率”(SoftwareAlgorithm Combining Semi-Supervised Learning and Transfer Learning toIncrease the Efficiency of Annotation)。优先权申请的所有相关内容和/或主题均包含于本申请中。

本申请涉及用于深度学习的标注系统和/或其方法，尤其涉及视频分析中的标注领域。所述标注系统包括相关设备、方法和/或多个设备的组合及其方法。

当今，每天都会生成大量未标记的数据，包括文本、图像、视频、声音和信号。对所述未标记数据进行手动标注而用于深度学习，实际上并不可行。因此，现有的神经网络技术被用于进行自动标注。例如，由于视频帧或图像中含有的未标记数据非常丰富，一些基于机器学习的视频分析算法已经被用于视频分析工业中。

然而，为了实现高精度的视频分析，需要对大量数据进行标注，用于训练视频分析算法。如果进行人工标注，则数据标注的成本可能会非常高。特别是，在某些特定应用中，需要具有专业知识的专家才能正确标注。例如，在特定的人物追踪(Person-Of-Interest(POI))应用中，使用机器学习进行视频分析在实践中由于以下原因而被严格限制使用。首先，大型神经网络的低处理速度会导致不可接受的延迟；其次，缺乏用于训练神经网络的已标记数据会损害机器学习；第三，机器学习算法对外部因素的变化很敏感，例如照明、背光条件、人体姿势和视角的变化，特别是对于户外场景。因此，在包含各种外部因素的条件下，缺乏足够数量的已标记数据成为开发视频分析引擎或算法的瓶颈。相应地，本申请旨在开发一种新且实用的用于神经网络的标注方法、设备或系统。本申请的基本特征由一个或多个独立权利要求提出，而其它特征由其相应的从属权利要求提出。

本申请的第一方面公开了一种用于神经网络(例如，深度学习模型)的标注方法。所述标注方法中的神经网络用于标注或将元数据(meta-data)与视频内容相关联，例如作者、发布时间和视频。这样，具有视频内容的视频剪辑可以使用搜索引擎来搜索查询，所述查询包含一个或多个关键字。所述标注方法中的神经网络需要首先进行训练，接着进行测试、最后才能用于高可靠性和准确性的自动标注。尤其需要已标记实例(labeledinstance)来训练神经网络。然而，获得所述已标记实例非常昂贵且数量有限。相反地，未标记实例(unlabeled instance)廉价且数量丰富。

所述用于神经网络的标注方法可以包括步骤。第一步，从一个或多个信息源接收信息作为未标记实例(称为第一组未标记实例)，例如，照片图像或视频剪辑；第二步，从未标记实例获得学习目标；第三步，通过执行软件算法获得已筛选未标记实例(selectedunlabeled instances)(即，从第一组未标记实例中选择已筛选未标记实例而作为第二组未标记实例)；第四步，获取所述已筛选未标记实例的标注，用于生成已标记实例或已标记数据。所述已标记数据用于训练神经网络，例如用于自动标注的深度学习模型。所述已筛选未标记实例被选择到第二组未标记实例中，因为所述已筛选未标记实例在训练神经网络时具有较大的权重。具体而言，所述软件算法被配置来结合、结合或集成半监督学习和迁移学习，用于减少已筛选未标记实例所必须的、最少的或需要的数量。