[发明专利]模型训练方法和装置

说明书

本申请实施例提供了一种模型训练方法，方法包括获取离线行为特征数据集，将离线行为特征数据集有序地存储至目标存储单元；接收对存储至目标存储单元中的离线行为特征数据集的流批数据拉取请求；基于流批数据拉取请求依次从离线行为特征数据集中拉取对应时间区段的离线行为特征数据，并根据拉取到的离线行为特征数据生成第一训练样本数据；将生成的所有的第一训练样本数据输入至待训练模型中进行训练，以得到初始预估模型；获取在线行为特征数据，并根据在线行为特征数据生成第二训练样本数据；将第二训练样本数据输入至初始预估模型中进行训练，以得到目标预估模型。本申请能够提高点击率预估模型的训练效率。

技术领域

本申请实施例涉及计算机技术领域，尤其涉及一种模型训练方法和装置。

背景技术

随着计算机技术的发展，人工智能(AI，Artificial Intelligence)开始被人们的热点关注技术，其可以适用于语言识别、图像识别、自然语言处理和目标追踪等各个领域。

AI训练是AI工程中重要的一环，决定者AI的有效性。现有的AI训练，通常是通过SingleTask(单独任务)得到在线特征以及通过Crontab离线计算任务得到离线特征，并通过SingleTask对上述特征进行特征矢量化计算从而得到训练数据流。

然而，通过方式得到的训练数据流需要耗费较多的时间才能得到足够数量多的训练数据流，进而使得对模型的训练非常耗时。

发明内容

本申请实施例的目的是提供一种模型训练方法、系统、计算机设备及计算机可读存储介质，可以用于解决以下问题：模型的训练非常耗时。

本申请实施例的一个方面提供了一种模型训练方法，所述方法包括：

获取离线行为特征数据集，将所述离线行为特征数据集有序地存储至目标存储单元，其中，所述离线行为特征数据集按照预设的时间区段进行有序存储；

接收对存储至所述目标存储单元中的离线行为特征数据集的流批数据拉取请求；

基于所述流批数据拉取请求依次从所述离线行为特征数据集中拉取对应时间区段的离线行为特征数据，并根据拉取到的离线行为特征数据生成第一训练样本数据；

将生成的所有的第一训练样本数据输入至待训练模型中进行训练，以得到初始预估模型；

获取在线行为特征数据，并根据所述在线行为特征数据生成第二训练样本数据；

将所述第二训练样本数据输入至所述初始预估模型中进行训练，以得到目标预估模型。

可选的，所述目标存储单元为分布式文件系统HDFS，所述获取离线行为特征数据集，将所述离线行为特征数据集有序地存储至目标存储单元包括：

识别出所述离线行为特征数据集中的每一条离线行为特征数据的产生时间；

根据所述产生时间将属于同一时间区段的离线行为特征数据存储至所述HDFS的同一个数据块中，将不同时间区段的离线行为特征数据按照顺序存储至所述HDFS的不同数据块中。

可选的，所述根据拉取到的离线行为特征数据生成第一训练样本数据包括：

通过基于BSQL语言编写的离线行为特征数据处理模块对所述拉取到的离线行为特征数据进行聚合计算得到所述第一训练样本数据。

可选的，所述获取在线行为特征数据，并根据所述在线行为特征数据生成第二训练样本数据包括：

以滑动时间窗口的方式获取多个用户的在线行为特征数据；

统计每一个用户在所述时间窗口内的在线行为数据，并将每一个用户的在线行为数据作为一个第二训练样本数据。