[发明专利]基于多维时间序列数据进行预测或训练模型的方法和系统

说明书

公开了一种用于基于多维时间序列数据进行预测的方法，包括：监测多维时间序列数据流以获取当前观察点，当前观察点包括多维特征数据；基于当前观察点，应用经训练的神经过程模型进行预测，神经过程模型是使用多个先前观察点训练的，每个先前观察点包括多维特征数据和相应的标签数据，其中神经过程模型包括编码器和解码器，编码器包括互关注模块，互关注模块基于当前观察点的多维特征数据与一个或多个先前观察点的多维特征数据之间的关联向多个先前观察点分配权重，以用于最终生成当前观察点的目标预测。本申请还涉及其它方法、系统、装置和计算机可读存储设备。本申请的方法能够更准确地基于多维时间序列数据执行预测。

技术领域

本说明书的一个或多个实施例涉及机器学习，尤其涉及用于针对基于多维时间序列数据进行预测或训练模型的方法、系统、装置和计算机可读存储介质。

背景技术

目前，机器学习已被应用于时间序列数据，以便对时间序列数据进行建模，并利用所建立的模型来执行预测或处理(例如异常识别或风险识别等)。

例如，在在线交易等场景中，通常例如可利用与用户相关联的时间序列数据(例如登录历史、交易历史等)进行建模，从而可识别出异常交易(例如非法交易)或者异常用户(例如执行非法交易的用户)。

然而，在使用例如在线交易等场景中的时间序列数据等进行建模时可能存在问题。例如，一方面，大部分机器学习模型只能处理单维时间序列数据，而在处理多维时间序列数据时存在困难。另一方面，对于多维时间序列数据，现有方案通常采用基于规则的模型(有时被称为基线模型)。这样的基于规则的模型在不同区间的打分量指标往往有很强的相关性，因此存在准确率不高的问题。

此外，现有的机器学习模型在处理多维时间序列数据时通常只在数据样本量较大的情况下才能实现比较高的准确率，而在数据样本量较低时(例如针对数据量少的长尾用户或新用户)，现有的机器学习模型通常难以产生令人满意的结果。

遗憾的是，对于用户的在线活动，尤其是例如对在线交易场景中的异常识别等活动，需要处理的数据常常相关性强、而且常常需要处理数据量较少的情形。例如，恶意实体经常注册为新用户来执行恶意操作，因此对这样的新用户的异常交易进行识别通常可供使用的样本量较少。

因此，需要在较少数据量下也能实现较高准确率的多维时间序列数据的建模方案。

发明内容

为了克服现有技术的缺陷，本说明书的一个或多个实施例通过为每个用户建立私有模型提供了更准确的建模方案，且对用户的隐私保护更加完善。

本说明书的一个或多个实施例通过以下技术方案来实现其上述目的。

在一个方面中，公开了一种用于基于多维时间序列数据进行预测的方法，包括：监测多维时间序列数据流以获取当前观察点，所述当前观察点包括多维特征数据xt；基于所述当前观察点，应用经训练的神经过程模型进行预测，所述神经过程模型是使用多个先前观察点(xi,yi)训练的，每个先前观察点包括多维特征数据xi和相应的标签数据yi，其中所述神经过程模型包括编码器和解码器，所述编码器包括互关注模块，所述互关注模块基于所述当前观察点的多维特征数据xt与一个或多个先前观察点的多维特征数据xi之间的关联向所述多个先前观察点分配权重，以用于最终生成所述当前观察点的目标预测y*。

优选地，所述编码器包括确定性通路和隐通路，其中所述确定性通路包括确定性编码器，所述确定性编码器用于基于多个先前观察点(xi,yi)来生成多个经编码表示ri，所述互关注模块基于所述当前观察点的多维特征数据xt、所述一个或多个先前观察点的多维特征数据xi、以及所述多个经编码表示生成特定于所述当前观察点的单个聚合表示r*。

优选地，所述确定性编码器使用自关注模型。