[发明专利]数据处理方法和装置

说明书

本发明公开了一种数据处理方法和装置。其中，该数据处理方法包括：在预设场景下，获取输入至神经网络的第一待处理数据，神经网络为待更新的模型；通过第一待处理数据中位于第一时间窗口内的第一目标数据对神经网络进行第一预设次数的迭代训练，得到神经网络的种子模型；获取在第一时间窗口对应的时间之后产生的第一新增数据，并将第一新增数据和第一待处理数据合并为第二待处理数据；通过第二待处理数据中位于第二时间窗口内的第二目标数据对种子模型进行第二预设次数的迭代训练，得到神经网络的第一增量模型；将第一增量模型进行线上发布。本发明解决了相关技术中数据处理的模型不能快速更新的问题的技术问题。

技术领域

本发明涉及数据处理领域，具体而言，涉及一种数据处理方法和装置。

背景技术

目前，在数据处理中，逻辑回归模型(Logistic Regression，简称为LR)已广泛应用于广告点击率预估。然而，作为一种线性模型，逻辑回归模型的局限性在于难以学习到原始特征以及特征组合中的非线性信息。此外，逻辑回归模型的权重由一维向量表达，需要人工构造高阶特征组合，不具有自动学习空间高维特征组合的能力，这样数据处理的模型极大地依赖于人为参与的特征工程(Feature Engineering)。

相关技术中存在构造深度神经网络的点击率预估方法，比如，构造深度神经网络的广告点击率预估，可以从原始特征中学习非线性信息。一方面，在传统的机器学习框架下，学习的任务就是在给定充分训练数据的基础上来学习一个点击率预估模型，然后利用这个学习到的模型来在线实时预测用户对广告的点击行为；另一方面，互联网在线投放的数据环境本身是快速变化的，首先，用户群是快速变化的，也即，新用户不断加入且用户会不断产生新的行为和新的兴趣点；其次，新数据不断出现，同时旧数据也会不断下架。因此数据处理的模型更新必须快速，才能更好地适应这种快速变化。为了体现快速变化的数据环境，需要实现快速的模型更新，因此只有有限的时间来完成模型的训练。

而互联网中的投放数据是海量的，在数据处理中，模型训练是有时间限制的，一次全量的模型训练需要在随机初始化的模型基础上使用充分的训练数据经过多轮迭代得到充分拟合数据的收敛模型，由于涉及大量的计算使得模型训练时间漫长，故不能满足模型快速更新的需求。

针对上述相关技术中数据处理的模型不能快速更新的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据处理方法和装置，以至少解决相关技术中数据处理的模型不能快速更新的问题的技术问题。

根据本发明实施例的一个方面，提供了数据处理方法。该数据处理方法包括：在预设场景下，获取输入至神经网络的第一待处理数据，其中，神经网络为待更新的模型；通过第一待处理数据中位于第一时间窗口内的第一目标数据对神经网络进行第一预设次数的迭代训练，得到神经网络的种子模型，其中，种子模型为神经网络的初始化模型；获取在第一时间窗口对应的时间之后产生的第一新增数据，并将第一新增数据和第一待处理数据合并为第二待处理数据；通过第一待处理数据中位于第二时间窗口内的第二目标数据对种子模型进行第二预设次数的迭代训练，得到神经网络的第一增量模型，其中，第二时间窗口与第一时间窗口具有第一预设重叠区域，第二预设次数小于等于第一预设次数；将第一增量模型进行线上发布。