[发明专利]一种适用于机器学习的特征处理方法及装置

说明书

本发明涉及金融科技领域，并公开了一种适用于机器学习的特征处理方法及装置，方法包括：获取特征处理请求后，根据各特征表中的各个特征构建特征池，所述特征表至少由特征列表、所属特征库、依赖特征表、所属业务、特征加工逻辑构成，所述特征列表中包括至少一个特征，所述依赖特征表用于记录与各特征表具有依赖关系的其它特征表，所述特征处理请求中包括需要处理的特征；根据所述需要处理的特征以及所述特征池中各个特征确定特征依赖关系，并根据特征依赖关系确定特征处理路径；根据所述特征处理路径进行特征处理。数据库中的特征是以特征表的形式进行保存的，在该特征表中，包括了多个特征以及这些特征的加工逻辑，便于特征加工。

技术领域

本发明涉及金融科技(Fintech)技术领域，尤其涉及一种适用于机器学习的特征处理方法及装置。

背景技术

随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技(Finteh)转变，特征处理技术也不例外，但由于金融行业的安全性、实时性要求，也对技术提出的更高的要求。

特征工程是将原始数据转化为特征的过程，这些特征可以更好地向预测模型描述潜在问题，从而提高模型对未见数据的准确性。现有技术中通常利用Hive数据仓库存储特征，数据仓库可以提供SQL加工特征以及存储特征的能力。但是现有技术中没有统一管理特征以及特征加工的逻辑，无法清晰表达特征之间的依赖关系，为特征增加、删除、维护等带来不便。

发明内容

有鉴于此，本发明实施例提供一种适用于机器学习的特征处理方法及装置，至少解决了现有技术存在的没有统一管理特征以及特征加工的逻辑的问题。

一方面，本发明实施例提供一种适用于机器学习的特征处理方法，包括:

获取特征处理请求后，根据各特征表中的各个特征构建特征池，所述特征表至少由特征列表、所属特征库、依赖特征表、所属业务、特征加工逻辑构成，所述特征列表中包括至少一个特征，所述依赖特征表用于记录与各特征表具有依赖关系的其它特征表，所述特征处理请求中包括需要处理的特征；

根据所述需要处理的特征以及所述特征池中各个特征确定特征依赖关系，并根据特征依赖关系确定特征处理路径；

根据所述特征处理路径进行特征处理。

本发明实施例中，数据库中的特征是以特征表的形式进行保存的，在该特征表中，包括了多个特征以及这些特征的加工逻辑，并且为了便于特征加工，还保存了与该特征表存在依赖关系的特征表；在进行特征处理任务时，将在任务中使用到的所有特征表中的特征构建处理特征依赖关系，通过各个依赖关系确定特征处理路径，并根据特征处理路径进行特征处理。在本发明实施例中，特征是通过特征表进行管理的，能够清晰的表达特征之间的依赖关系，为特征增加、删除、维护等带来便利。

可选的，所述根据所述需要处理的特征以及所述特征池中各个特征确定特征依赖关系，包括：

以所述需要处理的特征作为根节点，将与根节点具有之接依赖关系或者间接依赖关系的特征表作为上层节点，构建特征依赖树。

在本发明实施例中，通过特征依赖树的形式能够更好的梳理特征之间的依赖关系，便于进行特征加工以及特征处理。

可选的，所述根据特征依赖关系确定特征处理路径，包括：

确定所述特征依赖树中当前没有依赖的关系的特征表，将当前没有依赖的关系的特征表作为并行子任务加入到特征处理路径表中的第一加工路径中，删除当前没有依赖的关系的特征表与所述特征依赖树中其它特征表的关联，返回确定所述特征依赖树中当前没有依赖的关系的特征表的步骤，将当前没有依赖的关系的特征表作为并行子任务加入到特征处理路径表中的第二加工路径中，直到将所述依赖树中所有特征表加入到特征处理路径表中。