[发明专利]二分类模型训练方法、数据分类方法及对应装置

说明书

本发明涉及机器学习技术领域，提供一种二分类模型训练方法、数据分类方法及对应装置。其中，训练集中的训练样本均为结构化数据，结构化数据中包括至少一个离散型特征，二分类模型训练方法包括：统计离散型特征的不同的特征值在训练集的正样本中出现的次数；基于离散型特征的特征值出现的次数与正样本的总个数的比值，计算离散型特征的特征值对应的编码值；将训练样本中的离散型特征的特征值替换为对应的编码值；利用更新后的训练样本训练二分类模型。结构化数据中的离散型特征被上述方法编码后，其特征值被转化为连续值，从而可以被现有的机器学习算法正确地处理，正常地用于训练二分类模型。同时，编码过程简单高效，不会导致维灾难问题。

技术领域

本发明涉及机器学习技术领域，具体而言，涉及一种二分类模型训练方法、数据分类方法及对应装置。

背景技术

随着大数据的兴起与人工智能的发展，越来越多的企业开始重视企业自身数据的利用与挖掘。企业的数据来源广泛，有人力资源数据、财务数据、产品设计数据、产品生产数据、库存数据、设备维护数据、市场数据等，这些数据中有些是连续型的，有一些则离散型的。在一些业务系统中直接用字符表示离散型特征，比如性别特征，用M表示男，F表示女，这些离散特征在数据进行机器学习算法前必须进行处理，将字符转换成数值，一些常用的机器学习算法才能正确处理。另一些业务系统用整型数字表示离散型特征，比如性别特征，用1表示男，0表示女，但与上面采用字符表示的方式没有本质区别，在很多机器学习算法中仍然要谨慎对待这样的离散型特征。

针对离散型特征，已有一些技术可将其转换成大部分机器学习算法可以接受的数值型特征，比如哑变量编码与One－hot编码，但这些编码技术只适合在离散型特征是低势特征的情况下使用。其中，特征的势是指离散型特征可取的不同的特征值数量，例如性别特征只有男女两个特征值可取，因此属于低势特征，邮政编码有大量的值可取，因此属于高势特征。如果离散型特征是高势特征，采用这些编码技术后获得的新特征维度过高，甚至导致维灾难问题。另一些编码技术虽然能够处理高势特征，但算法过于复杂，计算资源消耗量极大，实用价值不高。

发明内容

有鉴于此，本发明实施例提供一种二分类模型训练方法、数据分类方法及对应装置，有效地处理结构化数据中的离散型特征，处理后的结构化数据能够直接用于二分类模型的训练或者被二分类模型分类。

为实现上述目的，本发明提供如下技术方案：

第一方面，本发明实施例提供一种二分类模型训练方法，训练集中的训练样本均为结构化数据，结构化数据中包括至少一个离散型特征，方法包括：

统计离散型特征的不同的特征值在训练集的正样本中出现的次数；

基于离散型特征的特征值出现的次数与正样本的总个数的比值，计算离散型特征的特征值对应的编码值；

将训练样本中的离散型特征的特征值替换为对应的编码值；

在对训练样本中的每个离散型特征都完成特征值替换后，利用更新后的训练样本训练二分类模型。

第二方面，本发明实施例提供一种数据分类方法，用于对数据样本进行分类，数据样本为结构化数据，结构化数据中包括至少一个离散型特征，方法包括：

获得利用本发明实施例提供的二分类模型训练方法训练出的二分类模型，以及离散型特征的特征值对应的编码值；

将数据样本中的离散型特征的特征值替换为对应的编码值；

在对数据样本中的每个离散型特征都完成特征值替换后，将更新后的数据样本输入至二分类模型进行分类。

第三方面，本发明实施例提供一种二分类模型训练装置，训练集中的训练样本均为结构化数据，结构化数据中包括至少一个离散型特征，装置包括：

次数统计模块，用于统计离散型特征的不同的特征值在训练集的正样本中出现的次数；