[发明专利]基于多平台样本的数据分类方法及装置

权利要求书

1.一种基于多平台样本的数据分类方法，其特征在于，应用于数据分类服务器，所述数据分类服务器与X个业务平台通信连接，X为正整数，所述方法包括：

采集每个业务平台的N个样本数据；其中，每个样本数据包括M个特征自变量和1个特征因变量，N和M均为正整数；

以每个业务平台的N个样本数据中的每个样本数据中的M个特征自变量为模型特征并以该业务平台的N个样本数据中的每个样本数据中的特征因变量为机器学习模型的类别标签，建立每个业务平台对应的机器学习模型；其中，所述机器学习模型为分类器；

将每个业务平台的N个样本数据合并为一个待处理数据文件，采用已建立的X个机器学习模型对所述待处理数据文件进行处理，得到目标数据文件；其中，所述目标数据文件中包括所述样本数据的预估概率值；

计算所述目标数据文件中的预估概率值对应的相关性系数，得到相关性系数矩阵；

采用预设聚类算法对所述相关性系数矩阵进行聚类，得到聚类样本群以及所述聚类样本群对应的聚类标签，将所述聚类标签分别与每个业务平台的N个样本数据进行一一匹配；

其中，将每个业务平台的N个样本数据合并为一个待处理数据文件，包括：

将每个业务平台的N个样本数据进行纵向合并，得到X*i的待处理数据文件列表；其中，X表示所述待处理数据文件列表的行数，i=M+1表示所述待处理数据文件列表的列数；

其中，采用已建立的X个机器学习模型对所述待处理数据文件进行处理，得到目标数据文件，包括：

将所述待处理数据文件列表中的M个合并特征输入到第一个机器学习模型，使第一个机器学习模型对所述M个合并特征进行预估概率值的计算，以形成X*2的基准数据文件列表；其中，X*2的基准数据文件列表中的第一列为各个样本数据的主键，第二列为第一个机器学习模型的预估概率值；

将所述M个合并特征输入到第二个机器学习模型中，使第二个机器学习模型对所述M个合并特征进行预估概率值的计算得到第二个机器学习模型对应的预估概率值，并将第二个机器学习模型对应的预估概率值添加到X*2的基准数据文件列表中得到X*3的基准数据文件列表；

以此类推，得到X*j的目标数据文件列表；其中，j=N+1；

其中，采用预设聚类算法对所述相关性系数矩阵进行聚类，得到聚类样本群以及所述聚类样本群对应的聚类标签，包括：

以所述相关性系数矩阵的每行为一个目标样本，每列为一个待聚类特征，将所述相关性系数矩阵划分为N个待聚类样本；

将所述N个待聚类样本输入到kmeans聚类模型中，得到所述kmeans聚类模型输出的聚类样本群以及所述聚类样本群对应的聚类标签；其中，聚类样本群的数量为设定个数；

其中，将所述N个待聚类样本输入到kmeans聚类模型中，得到所述kmeans聚类模型输出的聚类样本群以及所述聚类样本群对应的聚类标签，包括：

获取N个待聚类样本中的当前待聚类样本的样本特征分布队列以及各样本特征数据；

在根据所述样本特征分布队列确定出所述N个待聚类样本中的当前待聚类样本中包含有可追溯性特征标签的情况下，根据N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据以及N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据的数据识别度，确定N个待聚类样本中的当前待聚类样本在非可追溯性特征标签下的各样本特征数据与N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的各样本特征数据之间的数据关联度，并将N个待聚类样本中的当前待聚类样本在所述非可追溯性特征标签下的与在所述可追溯性特征标签下的样本特征数据相关联的样本特征数据划分所述可追溯性特征标签下；

在N个待聚类样本中的当前待聚类样本的非可追溯性特征标签下包含有多个离散样本特征数据的情况下，根据N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据以及N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据的数据识别度确定N个待聚类样本中的当前待聚类样本的非可追溯性特征标签下的各离散样本特征数据之间的数据关联度，并根据所述各离散样本特征数据之间的数据关联度对非可追溯性特征标签下的各离散样本特征数据进行过滤；

根据N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据以及N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据的数据识别度为上述过滤获得的剩余样本特征数据设置划分标识，并根据所述划分标识将至少部分剩余样本特征数据划分到所述可追溯性特征标签下；获得所述kmeans聚类模型输出的当前待聚类样本以及所述当前待聚类样本对应的聚类标签，以此类推得到N个待聚类样本对应的聚类样本群以及所述聚类样本群对应的聚类标签。

2.一种基于多平台样本的数据分类装置，其特征在于，应用于数据分类服务器，所述数据分类服务器与X个业务平台通信连接，X为正整数，所述装置包括：

数据采集模块，用于采集每个业务平台的N个样本数据；其中，每个样本数据包括M个特征自变量和1个特征因变量，N和M均为正整数；

模型建立模块，用于以每个业务平台的N个样本数据中的每个样本数据中的M个特征自变量为模型特征并以该业务平台的N个样本数据中的每个样本数据中的特征因变量为机器学习模型的类别标签，建立每个业务平台对应的机器学习模型；其中，所述机器学习模型为分类器；

数据处理模块，用于将每个业务平台的N个样本数据合并为一个待处理数据文件，采用已建立的X个机器学习模型对所述待处理数据文件进行处理，得到目标数据文件；其中，所述目标数据文件中包括所述样本数据的预估概率值；

矩阵计算模块，用于计算所述目标数据文件中的预估概率值对应的相关性系数，得到相关性系数矩阵；

样本聚类模块，用于采用预设聚类算法对所述相关性系数矩阵进行聚类，得到聚类样本群以及所述聚类样本群对应的聚类标签，将所述聚类标签分别与每个业务平台的N个样本数据进行一一匹配；

其中，数据处理模块，用于：

将每个业务平台的N个样本数据进行纵向合并，得到X*i的待处理数据文件列表；其中，X表示所述待处理数据文件列表的行数，i=M+1表示所述待处理数据文件列表的列数；

其中，数据处理模块，用于：

将所述待处理数据文件列表中的M个合并特征输入到第一个机器学习模型，使第一个机器学习模型对所述M个合并特征进行预估概率值的计算，以形成X*2的基准数据文件列表；其中，X*2的基准数据文件列表中的第一列为各个样本数据的主键，第二列为第一个机器学习模型的预估概率值；

将所述M个合并特征输入到第二个机器学习模型中，使第二个机器学习模型对所述M个合并特征进行预估概率值的计算得到第二个机器学习模型对应的预估概率值，并将第二个机器学习模型对应的预估概率值添加到X*2的基准数据文件列表中得到X*3的基准数据文件列表；

以此类推，得到X*j的目标数据文件列表；其中，j=N+1；

其中，样本聚类模块，用于：

以所述相关性系数矩阵的每行为一个目标样本，每列为一个待聚类特征，将所述相关性系数矩阵划分为N个待聚类样本；

将所述N个待聚类样本输入到kmeans聚类模型中，得到所述kmeans聚类模型输出的聚类样本群以及所述聚类样本群对应的聚类标签；其中，聚类样本群的数量为设定个数；

其中，样本聚类模块，用于：

获取N个待聚类样本中的当前待聚类样本的样本特征分布队列以及各样本特征数据；

在根据所述样本特征分布队列确定出所述N个待聚类样本中的当前待聚类样本中包含有可追溯性特征标签的情况下，根据N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据以及N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据的数据识别度，确定N个待聚类样本中的当前待聚类样本在非可追溯性特征标签下的各样本特征数据与N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的各样本特征数据之间的数据关联度，并将N个待聚类样本中的当前待聚类样本在所述非可追溯性特征标签下的与在所述可追溯性特征标签下的样本特征数据相关联的样本特征数据划分所述可追溯性特征标签下；

在N个待聚类样本中的当前待聚类样本的非可追溯性特征标签下包含有多个离散样本特征数据的情况下，根据N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据以及N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据的数据识别度确定N个待聚类样本中的当前待聚类样本的非可追溯性特征标签下的各离散样本特征数据之间的数据关联度，并根据所述各离散样本特征数据之间的数据关联度对非可追溯性特征标签下的各离散样本特征数据进行过滤；

根据N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据以及N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据的数据识别度为上述过滤获得的剩余样本特征数据设置划分标识，并根据所述划分标识将至少部分剩余样本特征数据划分到所述可追溯性特征标签下；获得所述kmeans聚类模型输出的当前待聚类样本以及所述当前待聚类样本对应的聚类标签，以此类推得到N个待聚类样本对应的聚类样本群以及所述聚类样本群对应的聚类标签。