[发明专利]一种spark下的机器学习快速大规模样本签名方法

说明书

本发明请求保护一种spark下的机器学习快速大规模样本签名方法，涉及数据挖掘技术和计算机信息处理技术。本方法为：1)读入样本数据，将样本数据转换成独有的样本格式；2)对样本数据中的高频特征进行划分，得到FeatureMap；3)设置最大广播数量，根据最大广播数量计算FeatureMap的partition；4)根据partition数量进行循环迭代，分片广播大量特征；5)最后对样本进行格式转换，得到libsvm格式的数据。本发明可以解决模型训练过程中样本签名性能瓶颈的问题，特别适用于在spark集群下训练模型。本发明虽然解决的是样本签名问题，但是由于本方法定制数据结构和分片广播可以很好的避免shuffle从而同样适用于大数据工程中的数据倾斜问题。

技术领域

本发明属于信息技术、云计算、数据挖掘等领域，提供了一种Spark大数据平台下机器学习快速大规模样本签名方法。

背景技术

在大规模机器学习领域，模型训练时，将各种数据格式转换成统一的训练格式是必不可少的步骤。这一过程简称样本签名，后文统称ID化，ID化的目的有三个：

(1)减少数据量，将字符串类型的数据编码为整形，缓解存储压力；

(2)提升训练效率，将特征编码到一定的空间，提前感知模型规模。

(3)通用于各种机器学习算法，比如经典的Libsvm存储格式。

通常，我们通过数据挖掘产生的特征，包含大量明文数据，在大规模机器学习中，通常需要将明文数据重新编码为整形表示的离散化特征，这种稀疏表示方法可以极致压缩存储空间。常见的明文样本格式：

[label，feature1，feature2……]

具体例子如下：

[0,item^123,user^362,query^快手,weekday^6,app_list^25,app_list^582]

[1,item^12,user^22,query^美团,city^深圳,gender^1,app_list^123,app_list^456]

ID化之后的格式：

[label id1:value id2:value idn:value]，其中id是从1开始编码。value为特征权值，一般为1

具体例子如下：

[0 1:1 5:1 6:1]

[1 2:1 7:1 9:1 11:1 30:1]

通用id化流程可表示如下：

①读取样本数据

②统计特征频次

③将特征按频次过滤

④对剩余特征编码

⑤将所有样本按编码进行明文到特征ID的转换

这其实是大数据下Join操作的优化问题，现有业界并没有针对ID化的专有解决方案，根据不同情况，通用的解决方案为：

1)将编码后的特征集进行广播：