[发明专利]数据特征格式化方法及装置

说明书

技术领域

本发明涉及数据挖掘技术领域，特别涉及一种数据特征格式化方法及装置。

背景技术

在网络大数据环境下，数据挖掘工作的主要任务就是从海量信息中发现数据的共同特征以便进行数据统计和分析。依赖人工进行大数据的数据挖掘显然是不可取的，而依赖机器进行的数据挖掘在识别率上又有天然的缺陷；故现有技术中主要通过基于模型训练的机器学习来提高自动挖掘的识别率。在有关机器学习的过程中，往往需要从原始数据中抽取一些特征来表示一个样本，然后把每个样本的特征集合表示成算法能够识别的格式，以便算法能够读取这些样本特征来进行模型训练。

目前，现有的机器学习算法库，如libsvm、xgboost、sparkmllib等，都基于共识格式对训练数据进行格式化。在共识格式中，首先对全部特征设定序号，随后以“特征序号:特征值”方式来数字化表示和记录样本的各个特征。为节省空间，通常只需存储特征值不为0的特征，但相应地，各特征的序号及含义必须固定，以便通过序号即可确定特征的真实含义。

然而，在实际工程中，由于特征空间维度很大(几百上千，甚至万亿维特征也很常见)，在格式化之前为每个样本的特征设定一个既定顺序的难度很大，而且实际数据处理过程中还有可能随时新增特征或删除特征，所以采用现有技术确定特征的共识格式需要耗费大量的时间和精力，如何高效地进行特征格式化是一个比较困难的问题。

发明内容

基于现有技术的缺陷，本发明的目的是提供一种数据特征格式化方法及装置，以高效地进行数据的特征格式化。

根据本发明的一个方面，提供了一种数据特征格式化方法，包括步骤：

获取第一配置文件，根据所述第一配置文件中的开关设置确定本次格式化需要处理的属性及各个属性的格式化顺序；

获取第二配置文件，根据所述第二配置文件中属性的特征配置确定属性中待格式化特征的特征顺序和特征值含义；

根据所述各个属性的格式化顺序及所述属性中待格式化特征的特征顺序确定各个特征的特征序号，根据实际样本的属性值及所述特征值含义确定对应特征的特征值；

将各个所述实际样本按照所述特征序号及所述特征值格式化为特征向量。

优选地，所述开关设置包括：属性开关标记或属性记录情况；所述格式化顺序依照所述实际样本原始数据的自然属性顺序或根据模型训练的需要自由指定。

优选地，所述特征配置包括：离散化开关和所述属性的格式化方式。

优选地，所述离散化开关和所述属性的格式化方式视模型训练的算法模型的需求而自由设置。

优选地，所述特征向量中只选取特征值不为0的特征进行存储。

根据本发明的另一个方面，还提供了一种数据特征格式化装置，包括：

第一配置模块，用于获取第一配置文件，根据所述第一配置文件中的开关设置确定本次格式化需要处理的属性及各个属性的格式化顺序；

第二配置模块，用于获取第二配置文件，根据所述第二配置文件中属性的特征配置确定属性中待格式化特征的特征顺序和特征值含义；

特征处理模块，用于根据所述各个属性的格式化顺序及所述属性中待格式化特征的特征顺序确定各个特征的特征序号，根据实际样本的属性值及所述特征值含义确定对应特征的特征值；

格式化模块，用于将各个所述实际样本按照所述特征序号及所述特征值格式化为特征向量。

优选地，所述第一配置模块包括：

属性开关模块，用于根据属性开关标记或属性记录情况确定本次格式化需要处理的属性；

属性顺序模块，用于依照所述实际样本原始数据的自然属性顺序或根据模型训练的需要自由指定的顺序确定各个属性的格式化顺序。

优选地，所述第二配置模块包括：

离散化开关模块，用于根据离散化开关确定是否需要进行离散化；

格式化配置模块，用于配置所述属性的格式化方式。

优选地，所述离散化开关模块和所述格式化配置模块视模型训练的算法模型的需求而自由设置。

优选地，所述格式化模块包括：向量处理模块，用于只选取特征值不为0的特征生成所述特征向量并进行存储。

本发明实施例提供了一种数据特征格式化方法及装置，其技术方案通过两级配置可自由设定需处理的属性及其特征表示形式，从而可实现按需执行的特征格式化和模型训练，由于本发明实施例的技术方案无需预先为每个特征设置既定的顺序来固定特征序号，处理的属性/特征还可以随时进行增删，因而可大幅提升特征格式化的效率。

附图说明