[发明专利]基于特征转换函数的数据挖掘方法、设备及可读介质

说明书

本发明涉及一种基于特征转换函数的数据挖掘方法、设备及可读介质，属于计算机技术领域，方法包括以下步骤：提取原始数据：提取挖掘特征需要的原始数据，并将复杂的多维原始数据经过两次无损信息的压缩处理，形成特征转换函数需要的数据结构；格式转换：构建格式转换函数，将步骤1生成的Y×M的数据表，转换成为Python环境中可处理的list和dict的格式，作为特征生成的输入项。特征生成：构建特征转换函数，将输入的特定格式的原始数据转换为最终的特征。本发明建立了一种基于特征转换函数结构的数据挖掘方法，利用特征转换函数，构建出一种更先进、高效的特征数据挖掘方法。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于特征转换函数的数据挖掘方法、设备及可读介质。

背景技术

随着机器学习技术的快速发展，机器学习技术被广泛应用于各行业的数据分析过程中，为人们带来了极大的便利，现有技术中特征挖掘是直接使用SQL语句查询原始数据，并利用SQL自带的运算能力计算特征，最终将查询与运算耦合在一起,此方式随着特征挖掘数量的增加，SQL语句的复杂程度会指数级上升，导致必须嵌套越来越多层的子查询，增加临时中间表才能实现运算，开发成本变高，运行速度变慢。同时由于SQL本身的运算和资源的限制，在特征挖掘的过程中，会产生大量没有用的临时中间表，属于对资源的无效占用。

发明内容

为了解决上述现有技术中存在的技术问题，本发明建立了一种基于特征转换函数的数据挖掘方法、设备及可读介质，利用特征转换函数，构建出一种更先进、高效的特征数据挖掘方法。

本发明采用的技术方案如下：

基于特征转换函数的数据挖掘方法，包括如下步骤：

步骤1：通过SQL语句提取数据库中挖掘特征所需要的原始数据，并将多维原始数据进行压缩处理，形成特征转换函数所需要的数据结构，并生成数据表结构，将生成的数据表结构存储到存储器新建的存储空间中；

步骤2：调用存储器中存储的数据表结构，将数据表结构转换成对应Python环境的list和dict数据格式，作为特征生成的输入项；

步骤3：构建特征转换函数，通过所述特征转换函数将步骤2中转换为list和dict数据格式的数据转换为最终的特征。

本发明采用Python作为主要的运算工具，使得未来复杂特征的挖掘潜力大幅提高。且新的数据结构可清晰地存储并回溯特征生成前的原始数据，能够迅速修改、回溯特征，并对特征加工过程进行debug以及测试等。并且本发明通过上述步骤后，特征模块化可配置，优化后形成了可复用的数据模块结构，灵活清晰、容错率高，有效的缩短数据挖掘的开发周期。

优选的，步骤1具体包括以下步骤：

步骤1.1：从数据库的原始底层表中提取特征加工过程中需要的所有字段，利用“concat”函数将每个字段固定呈字符串或者数值的格式，并压缩为1条记录，形成Y×N维的数据表；

步骤1.2：通过“group by”方法和“collect_list”函数，将Y×N维的数据表中的数据全部聚合为用户维度的数据，N条记录被压缩为1条数据，形成Y×1的数据表；

步骤1.3：定义有M个Y×1的数据表，将M个Y×1的数据表结合在一起，最终形成Y×M的原始数据表。

本发明的数据库查询只涉及原始字段的提取，不包含任何运算的内容，与现有技术相比也就减少了绝大部分生成中间件临时表的环节，优化了数据库资源的配置。

优选的，步骤3具体包括以下步骤：

步骤3.1：对步骤2中转换成对应Python环境的list和dict数据格式的数据做预处理和加工；

步骤3.2：定义每个特征的初始默认值，然后按照挖掘的逻辑计算每个特征的值。