[发明专利]使用代理以实现设备上的机器学习

说明书

本发明公开了多种系统和方法，该系统和方法供服务器为多个应用程序的每个生成多个代理预测模型以由客户端设备使用。与通用模型相反，基于更密切匹配客户端设备实际用户的用户私有数据的数据分布提供预测模型，能够改善预测精确性并改善对客户端设备用户的益处。多个预测模型由服务器生成并被提供给多个客户端。对于特定应用程序而言，客户端设备可使用先前收集的私有用户数据来为应用程序选择多个预测模型之一作为最密切匹配的预测模型以用于特定用户。

相关专利申请

本美国专利申请依据35 U.S.C.§119(e)要求2016年7月20日提交的名称为“USINGPROXIES TO ENABLE ON-DEVICE MACHINE LEARNING”(使用代理实现设备上的机器学习)的美国临时专利申请No.62/364,810(代理人案卷号4860.P31848Z)的优先权，并且该申请在与本公开一致的程度上以引用方式并入本文。

技术领域

本公开涉及客户端设备上的机器学习的领域。

背景技术

常规的机器学习依赖于从大用户样本收集大型数据集并训练预测模型。训练预测模型以在训练数据集上实现可能最高的预测精确度，但将常常需要通过考虑特定用户的个人数据而针对个体用户进行个性化。一个示例是适于特定用户的书写方式的手写识别算法或者适于或经校准适于特定用户心跳或活动模式的健康传感器算法。语音识别子系统可能需要针对特定用户的语音模式或语调进行调节。优选针对特定用户的口味、偏好和收听模式调节音乐建议子系统。

在现有技术中，可以仅使用特定用户的数据在客户端设备上训练用于增强特定用户体验的机器学习。仅使用设备上的数据进行训练可以训练精确度和时间为代价保护隐私。机器学习算法通常需要在机器学习能够生成相当准确的预测模型之前收集大量数据。在一些情况下，诸如测量用户身体的一个或多个属性的健康传感器，传感器可能需要在机器学习算法能够使用所收集数据为该用户在客户端设备上生成预测器之前针对该人被校准。针对特定的人校准传感器可能是侵入性的、非常个人化的，并且耗时很久，因此是用户可能不希望采取的不希望步骤。

生成可用于增强用户的设备上体验的机器学习预测模型的另一种方式可以包括服务器系统，该服务器系统收集可用于生成一个或多个预测模型的大量众包数据。训练预测器的这种方法收集用户的个人数据，并且可能侵犯隐私，即使对所收集的信息进行了去识别化。如果维护隐私，那么使用众包数据训练预测器的另一个问题在于，服务器不知道特定客户端应当使用例如针对音乐偏好的多个预测模型中的哪个预测模型。维护隐私意味着确保服务器无法识别具有任何特异性的特定客户端。如果服务器无法识别具有特异性的特定客户端，例如由于隐私约束，则服务器不能向客户端设备提供个性化预测模型以增强用户的设备上体验。

发明内容

公开了通过为客户端设备上多个应用程序的每个提供多个预测模型而增强用户使用客户端设备时体验的系统和方法。提供与客户端设备的实际用户更紧密匹配的预测模型可改善代表客户端设备用户的预测模型的机器学习的速度和精确度。如本文所用，在一个实施方案中，术语“模型”是指数据分布或数据分布的草图，连同机器学习模型。因此，每个模型都具有对应的数据分布。如本文所用，短语“匹配模型”或“比较模型”，在一个实施方案中，是指对第一模型的数据分布和第二模型的数据分布进行偏离估计，以确定第一数据分布和第二数据分布之间的估计偏离。

多个预测模型由服务器生成并被提供给多个客户端。对于特定应用程序而言，客户端设备可使用先前收集的私有用户数据来为应用程序选择多个预测模型之一作为特定用户的最密切匹配的预测模型。多个预测模型中所选择的密切或最密切匹配的一个被用作客户端设备实际用户的代理预测模型(“代理模型”)。客户端设备可使用客户端设备上的私有用户数据来进一步训练或调整代理模型以更精确地针对客户端设备的用户预测或表示传感器的偏好、特征或校准。