[发明专利]一种数据处理方法和装置

权利要求书

1.一种数据处理方法，其特征在于，所述方法包括：

获取样本数据；

按照存储的各个挖掘工具，分别处理所述样本数据，得到所述各个挖掘工具的处理结果；其中，所述处理结果包括所述样本数据的数据分析时间和数据加载时间；

所述按照存储的各个挖掘工具，分别处理所述样本数据包括：将所述样本数据和原始数据的规模比例作为CPU收缩比例和内存收缩比例；根据所述CPU收缩比例、所述内存收缩比例和所述各个挖掘工具，分别处理所述样本数据；

根据所述各个挖掘工具的处理结果，确定成本最低的挖掘工具。

2.根据权利要求1所述的方法，其特征在于，所述获取样本数据包括：

接收原始数据；

按照预设的数据处理装置的承载量，从所述原始数据中获取所述样本数据。

3.根据权利要求2所述的方法，其特征在于，所述根据所述各个挖掘工具的处理结果，确定成本最低的数据挖掘规则包括：

根据成本评测公式，确定所述各个挖掘工具的成本，所述成本评测公式为：

Y＝C*N*F*J；

其中，所述Y是所述成本；所述C是所述CPU收缩比例，所述N是所述内存收缩比例；所述F是所述数据分析时间；所述J是所述数据加载时间；

从所述各个挖掘工具的成本中，确定所述成本最低的挖掘工具。

4.根据权利要求3所述的方法，其特征在于，所述根据所述各个挖掘工具的处理结果，确定成本最低的挖掘工具之后，所述方法还包括：

将所述CPU收缩比例和所述内存收缩比例增大N倍，得到新的CPU收缩比例和新的内存收缩比例，所述N是正整数；

按照所述新的CPU收缩比例、所述新的内存收缩比例和所述成本最低的挖掘工具，处理所述样本数据，得到新的处理结果；

当所述新的处理结果和所述成本最低的挖掘工具的处理结果满足线性增长时，将所述N加1；

当所述新的处理结果和所述成本最低的挖掘工具的处理结果不满足线性增长时，将所述CPU收缩比例和所述内存收缩比例增大N-1倍的结果，作为最终的CPU收缩比例和最终的内存收缩比例。

5.一种数据处理装置，其特征在于，所述装置包括：

获取单元，用于获取样本数据；

处理单元，用于按照存储的各个挖掘工具，分别处理所述样本数据，得到所述各个挖掘工具的处理结果；其中，所述处理结果包括所述样本数据的数据分析时间和数据加载时间；所述处理单元具体用于：将所述样本数据和原始数据的规模比例作为CPU收缩比例和内存收缩比例；根据所述CPU收缩比例、所述内存收缩比例和所述各个挖掘工具，分别处理所述样本数据；

确定单元，用于根据所述各个挖掘工具的处理结果，确定成本最低的挖掘工具。

6.根据权利要求5所述的装置，其特征在于，所述获取单元具体用于：

接收原始数据；

按照预设的数据处理装置的承载量，从所述原始数据中获取所述样本数据。

7.根据权利要求6所述的装置，其特征在于，所述确定单元具体用于：

根据成本评测公式，确定所述各个挖掘工具的成本，所述成本评测公式为：

Y＝C*N*F*J；

其中，所述Y是所述成本；所述C是所述CPU收缩比例，所述N是所述内存收缩比例；所述F是所述数据分析时间；所述J是所述数据加载时间；

从所述各个挖掘工具的成本中，确定所述成本最低的挖掘工具。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

增大单元，用于将所述CPU收缩比例和所述内存收缩比例增大N倍，得到新的CPU收缩比例和新的内存收缩比例，所述N是正整数；

所述处理单元，还用于按照所述新的CPU收缩比例、所述新的内存收缩比例和所述成本最低的挖掘工具，处理所述样本数据，得到新的处理结果；

所述增大单元，还用于当所述新的处理结果和所述成本最低的挖掘工具的处理结果满足线性增长时，将所述N加1；当所述新的处理结果和所述成本最低的挖掘工具的处理结果不满足线性增长时，将所述CPU收缩比例和所述内存收缩比例增大N-1倍的结果，作为最终的CPU收缩比例和最终的内存收缩比例。