[发明专利]基于可划分数据的建模方法、装置、计算机设备及介质

说明书

本发明实施例公开了一种基于可划分数据的建模方法，通过获取可划分训练数据；获取预设的抽取规则集；获取预设的模型集；按照抽取规则，从可划分训练数据中抽取与抽取规则对应的目标训练数据；按照数据优先级从高到低的顺序遍历目标训练数据，并按照模型优先级从高到低的顺序对每个目标训练数据进行预测，直到获取到最优训练数据和最优模型为止。通过对可划分训练数据进行抽取，提高了数据的准确性，且由于是根据可划分数据的优先级以及模型的优先级进行预测，在满足条件时停止预测，大大提高了建模效率并提高了模型的容错率。此外，还提出了一种基于可划分数据的建模装置、计算机设备及存储介质。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于可划分数据的建模方法、装置、计算机设备及介质。

背景技术

在数据分析和挖掘领域，使用合适的算法(模型)对数据进行训练从而得到数据内部蕴含的经验和规律(建模)是起决定性作用的关键步骤。模型的选取是否合适，数据是否支持模型的训练，如何高效的选取数据进行训练得到合适的模型，都直接影响着数据分析和挖掘最终的性能表现。可划分数据是指可以按照某些规则将全量数据拆分成独立的数据块，而数据内部依然包含潜藏的经验规律，如2017年至2020年所有月份某地跌站的人流量数据，可以根据时间区间任意拆分。因此，可划分数据和模型的联动处理就极其关键。

然而，目前对于可划分数据的建模方法采用手动划分数据和手动选择模型的方式，由于在实际的数据分析挖掘中，可划分数据量级太大，或者需要训练大量的模型，手动进行操作的效率会受到严重影响并容易出现错误；并且对于不同的模型而言，每种模型对于输入数据的要求也各不相同，导致建模过程比较耗时且影响建模效率，降低了建模后的模型的容错率。因此，提供一种具有高容错率的且自动化的选择可划分数据来输入到对应的最优模型是本领域亟待解决的技术问题。

发明内容

基于此，有必要针对上述问题，提出一种能够提高模型容错率和建模效率的基于可划分数据的建模方法、装置、计算机设备及介质。

一种基于可划分数据的建模方法，所述方法包括：

获取可划分训练数据；

获取预设的抽取规则集，所述抽取规则集包括数据优先级按照从高到低的顺序排列的I个抽取规则，I为大于或等于1的正整数；

获取预设的模型集，所述预设的模型集包括模型优先级按照从高到低的顺序排列的J个模型，J为大于或等于1的正整数；

按照所述I个抽取规则，从所述可划分训练数据中抽取与第i个抽取规则对应的第i个目标训练数据，所述第i个目标训练数据的优先级与所述第i个抽取规则的数据优先级相同，i＝1,2…I；

按照数据优先级从高到低的顺序遍历所述目标训练数据，对于遍历到的第x个目标训练数据，将所述第x个目标训练数据输入第y个模型，得到第y个模型输出的预测评分，y的初始值为1，x的初始值为1；

当所述第y个模型输出的预测评分不满足预设条件，且y小于J时，令y＝y+1，返回执行所述将所述第x个目标训练数据输入第y个模型，得到第y个模型输出的预测评分；

当所述第y个模型输出的预测评分不满足预设条件，且y＝J时，令x＝x+1,y＝1，返回执行所述将所述第x个目标训练数据输入第y个模型，得到第y个模型输出的预测评分；

当所述第y个模型输出的预测评分满足预设条件，则确定所述第x个目标训练数据为最优训练数据，第y个模型为最优模型。

一种基于可划分数据的建模装置，所述装置包括：

获取可划分训练数据；

第二获取模块，用于获取预设的抽取规则集，所述抽取规则集包括数据优先级按照从高到低的顺序排列的I个抽取规则，I为大于或等于1的正整数；