[发明专利]基于非局部神经网络的机器学习模型

说明书

在一个实施例中，一种方法包括：基于包括多个阶段的神经网络来训练基线机器学习模型，其中每个阶段包括多个神经块；访问分别包括多个内容对象的多个训练样本；确定一个或更多个非局部操作，其中每个非局部操作基于一个或更多个成对函数和一个或更多个一元函数；基于该多个训练样本和该一个或更多个非局部操作来生成一个或更多个非局部块；从神经网络的多个阶段中确定一个阶段；以及通过在神经网络的所确定阶段中的多个神经块中的至少两个神经块之间插入一个或更多个非局部块中的每一个来训练非局部机器学习模型。

技术领域

本公开总体上涉及在网络环境内使用机器学习的图像和视频分析，特别地涉及用于智能助理(smart assistant)系统的硬件和软件。

背景

助理系统可以基于用户输入、位置感知和从各种在线源访问信息(如天气状况、交通拥堵、新闻、股票价格、用户日程、零售价格等)的能力的组合来代表用户提供信息或服务。用户输入可以包括文本(例如，在线聊天)(尤其是在即时消息传递应用或其他应用中的文本)、声音(voice)、图像或其组合。助理系统可以基于用户输入来执行礼宾类型的服务(例如，预订晚餐、购买活动门票、安排旅行)或者提供信息。助理系统也可以基于在线信息和事件执行管理或数据处理任务，而无需用户启动或交互。可以由助理系统执行的那些任务的示例可以包括日程管理(例如，对晚餐约会发送用户由于交通状况而要迟到的告警信息，更新双方的日程，以及改变餐馆预订时间)。助理系统可以通过计算设备、应用编程接口(API)、以及用户设备上应用激增(proliferation)的组合来实现。

可以包括社交网络网站的社交网络系统可以使它的用户(例如个人或组织)能够与它交互以及通过它彼此交互。社交网络系统可以利用来自用户的输入来在社交网络系统中创建并存储与用户相关联的用户简档(user profile)。用户简档可以包括用户的人口统计信息、通信渠道信息以及关于个人兴趣的信息。社交网络系统还可以用来自用户的输入来创建并存储用户与社交网络系统的其他用户的关系的记录，以及提供服务(例如，简档/动态消息(news feed)帖子、照片分享、事件组织、消息传递、游戏或广告)以便于在用户之间或当中的社会交互。

社交网络系统可以通过一个或更多个网络向用户的移动设备或其他计算设备发送与它的服务相关的内容或消息。用户还可以在用户的移动设备或其他计算设备上安装软件应用，用于访问用户的用户简档和在社交网络系统内的其他数据。社交网络系统可以生成一组个性化的内容对象以显示给用户，例如关连(connect)到该用户的其他用户的汇集的动态(story)的动态消息。

特定实施例的概述

在特定实施例中，助理系统可以帮助用户获得信息或服务。助理系统可以使用户能够在有状态和多轮会话(stateful and multi-turn conversations)中通过多模态用户输入(如声音、文本、图像、视频)与它进行交互，以获得帮助。助理系统可以创建和存储用户简档，该用户简档包括与用户相关联的个人信息和上下文信息。在特定实施例中，助理系统可以使用自然语言理解来分析用户输入。分析可以基于用户简档，以获得更个性化和上下文感知的理解。助理系统可以基于分析来解析与用户输入相关联的实体。在特定实施例中，助理系统可以与不同的代理交互，以获得与解析的实体相关联的信息或服务。助理系统可以通过使用自然语言生成来为用户生成关于信息或服务的响应。通过与用户的交互，助理系统可以使用对话管理技术来管理和转发与用户的会话流。在特定实施例中，助理系统还可以通过汇总(summarize)信息来帮助用户有效且高效地消化所获得的信息。助理系统还可以通过提供帮助用户与在线社交网络交互(例如，创建帖子、评论、消息)的工具，来帮助用户更好地参与在线社交网络。助理系统另外可以帮助用户管理不同的任务，如持续跟踪事件。在特定实施例中，助理系统可以基于用户简档、在没有用户输入的情况下主动执行与用户兴趣和偏好相关的任务。在特定实施例中，助理系统可以检查隐私设置，以确保根据用户的隐私设置来允许访问用户的简档或其他用户信息以及执行不同的任务。