[发明专利]特征加工方法及相关设备

说明书

本发明涉及数据处理，提供一种特征加工方法及相关设备。该方法能够当接收到特征加工请求时，根据所述特征加工请求确定待加工数据源；从所述待加工数据源中获取待加工数据，并将所述待加工数据写入消息队列中；提取所述待加工数据中的待加工参数；根据所述特征加工请求确定需求参数，并根据所述需求参数确定代码模板；根据所述待加工参数及所述代码模板生成结构化查询语句；基于所述特征加工请求在所述消息队列中的优先级，利用所述结构化查询语句加工所述待加工数据，得到目标特征。本发明能够提高特征的加工效率。此外，本发明还涉及区块链技术，所述目标特征可存储于区块链中。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种特征加工方法及相关设备。

背景技术

在大数据领域，特征工程，是指用一系列工程化的方式从原始数据中筛选出更好的数据特征，以提升模型的训练效果。在实际的特征加工过程中，通常是由需求工程师提出需求，进而由开发人员根据需求开发出新的特征，然而，发明人意识到这种方式需要开发人员花费大量时间编写并调试程序，导致无法根据业务逻辑的快速变化产生衍生特征。

发明内容

鉴于以上内容，有必要提供一种特征加工方法及相关设备，能够提高特征的加工效率。

一方面，本发明提出一种特征加工方法，所述特征加工方法包括：

当接收到特征加工请求时，根据所述特征加工请求确定待加工数据源；

从所述待加工数据源中获取待加工数据，并将所述待加工数据写入消息队列中；

提取所述待加工数据中的待加工参数；

根据所述特征加工请求确定需求参数，并根据所述需求参数确定代码模板；

根据所述待加工参数及所述代码模板生成结构化查询语句；

基于所述特征加工请求在所述消息队列中的优先级，利用所述结构化查询语句加工所述待加工数据，得到目标特征。

根据本发明优选实施例，所述根据所述待加工参数及所述代码模板生成结构化查询语句包括：

确定所述待加工参数的参数数量，并确定所述代码模板上的填充位置的填充数量；

当所述参数数量大于所述填充数量时，确定所述参数数量与所述填充数量的第一差值，根据所述第一差值扩充所述代码模板上的所述填充位置，得到扩充模板，并将所述待加工参数写入所述扩充模板，得到所述结构化查询语句；或者

当所述参数数量小于所述填充数量时，确定所述参数数量与所述填充数量的第二差值，根据所述第二差值删除所述代码模板上的所述填充位置，得到限缩模板，并将所述待加工参数写入所述限缩模板，得到所述结构化查询语句；或者

当所述参数数量等于所述填充数量时，将所述待加工参数写入所述代码模板，得到所述结构化查询语句。

根据本发明优选实施例，所述基于所述特征加工请求在所述消息队列中的优先级，利用所述结构化查询语句加工所述待加工数据，得到目标特征包括：

获取所述消息队列中的所有请求，所述所有请求中包括所述特征加工请求；

确定所述所有请求的请求等级，并根据所述请求等级从大至小的顺序对所述所有请求进行排序，得到请求队列；

根据所述特征加工请求在所述请求队列中的位置确定所述特征加工请求的优先级；

当检测到高于所述优先级的请求完成响应后，利用所述结构化查询语句处理所述待加工数据，得到所述目标特征。

根据本发明优选实施例，所述从所述待加工数据源中获取待加工数据包括：

确定所述特征加工请求的触发用户；