[发明专利]一种数据处理方法和设备

权利要求书

1.一种数据处理方法，其特征在于，包括：

获取数据样本集合，其中，所述数据样本集合中包含训练数据样本集合和测试数据样本集合；

针对待处理的分析模型的每一个参数组合，分别确定所述参数组合的资源指示属性；其中，所述资源指示属性用于表征基于所述分析模型使用所述参数组合完成计算所需要的计算资源的多少；以及，

确定异构计算集群系统中每个计算单元的计算资源的大小值；根据所述参数组合的资源指示属性，从所述异构计算集群系统中选择所述计算资源的大小值与所述资源指示属性相匹配的计算单元；将所述参数组合和所述数据样本集合发送至所述计算单元，使得所述计算单元利用所述训练数据样本集合和所述参数组合训练得到所述分析模型的一个子分析模型，并利用所述测试数据样本集合对每一个所述子分析模型所对应的参数组合进行评分，得到每一个所述参数组合的评分结果；

根据所述评分结果，确定出基于所述待处理的分析模型的满足设定条件的参数组合。

2.如权利要求1所述的数据处理方法，其特征在于，所述确定所述参数组合的资源指示属性，包括：

分别计算所述参数组合中每一个参数的资源指示属性；

根据每一个参数的资源指示属性，计算得到所述参数组合的资源指示属性。

3.如权利要求2所述的数据处理方法，其特征在于，计算所述参数组合中每一个参数的资源指示属性，包括：

针对所述参数组合中每一个参数，执行以下操作：

选择其中一个未执行操作的参数，并确定选择的所述参数的取值以及所述参数与基于所述参数完成计算所需要的计算资源之间的相关性；

根据所述参数的取值以及所述相关性，计算得到选择的所述参数的资源指示属性。

4.如权利要求1所述的数据处理方法，其特征在于，确定待处理的分析模型的参数组合，包括：

获取待处理的分析模型，并确定所述分析模型所使用的参数以及所述参数的参数属性，其中，所述参数属性中包含所述参数的迭代间隔、所述参数的取值范围以及所述参数与基于所述参数完成计算所需的计算资源之间的相关性；

根据各个所述参数的迭代间隔和各个所述参数的取值范围，得到所述分析模型的参数组合，其中，每一个所述参数组合中包含每一个所述参数，不同所述参数组合中包含的至少一个相同的所述参数的取值不同。

5.如权利要求1所述的数据处理方法，其特征在于，根据所述评分结果，确定出基于所述待处理的分析模型的满足设定条件的参数组合，包括：

针对每一个所述参数组合对应的所述评分结果，将其中所述评分结果大于设定阈值的参数组合确定为基于所述待处理的分析模型的满足设定条件的参数组合。

6.一种数据处理设备，其特征在于，包括：

获取单元，用于获取数据样本集合，其中，所述数据样本集合中包含训练数据样本集合和测试数据样本集合；

确定单元，用于针对待处理的分析模型的每一个参数组合，分别确定所述参数组合的资源指示属性；其中，所述资源指示属性用于表征基于所述分析模型使用所述参数组合完成计算所需要的计算资源的多少；

分配单元，用于确定异构计算集群系统中每个计算单元的计算资源的大小值；根据所述参数组合的资源指示属性，从所述异构计算集群系统中选择所述计算资源的大小值与所述资源指示属性相匹配的计算单元；将所述参数组合和所述数据样本集合发送至所述计算单元，使得所述计算单元利用所述训练数据样本集合和所述参数组合训练得到所述分析模型的一个子分析模型，并利用所述测试数据样本集合对每一个所述子分析模型所对应的参数组合进行评分，得到每一个所述参数组合的评分结果；

处理单元，用于根据所述评分结果，确定出基于所述待处理的分析模型的满足设定条件的参数组合。

7.如权利要求6所述的数据处理设备，其特征在于，所述确定单元，确定所述参数组合的资源指示属性，包括：

分别计算所述参数组合中每一个参数的资源指示属性；

根据每一个参数的资源指示属性，计算得到所述参数组合的资源指示属性。