[发明专利]一种大数据处理装置及方法

权利要求书

1.一种大数据处理装置，包括主处理器(1)、初步处理器(2)和次级处理器(3)，所述主处理器(1)内设有主数据处理模块，所述主处理器(1)与多个初步处理器(2)连接，一个初步处理器(2)与多个次级处理器(3)连接，，所述主数据处理器(1)、初步处理器(2)和次级处理器(3)内设均设有数据检测模块，数据检测模块用于检测输入数据异常。

2.根据权利要求1所述的一种大数据处理装置，其特征在于，所述初步处理器(2)内设有初步数据处理模块。

3.根据权利要求1所述的一种大数据处理装置，其特征在于，所述次级处理器(3)上连接有输入设备，所述输入设备内设有数据输入模块。

4.根据权利要求1所述的一种大数据处理装置，其特征在于，所述次级处理器(3)内设有次级数据处理模块。

5.根据权利要求1所述的一种大数据处理装置，其特征在于，所述主数据处理器(1)和初步处理器(2)之间、初步处理器(2)和次级处理器(3)之间均为双向传输方式。

6.一种大数据处理方法，其特征在于，包括以下步骤：

步骤S1，通过初步处理器2获取待处理的目标数据；

步骤S2，通过次级处理器3获取预先制定的数据形态关键指标，数据形态关键指标包括数据的自身属性信息；

步骤S3，主处理器1根据预先制定的数据形态关键指标确定待处理的目标数据的数据形态。

7.根据权利要求6所述的一种大数据处理方法，其特征在于，步骤S3可包括以下步骤S31-S33：

步骤S31，接收输入的预定数据表的表名；

步骤S32，根据预先制定的数据形态关键指标对预定数据表进行清洗，获得预定数据表中的目标数据的数据形态；

步骤S33，接收输入的预设数据表的待处理分区和/或接收输入的一个或多个待计算枚举值的字段。

8.根据权利要求6所述的一种大数据处理方法，其特征在于，步骤S3的操作流程为：新建任务，根据提示填对应的信息。比如，填写待分析的数据表的表名、预设数据表的待处理分区以及一个或多个待计算枚举值的字段。填写完毕后，点击执行按钮，即可开始对表中的数据进行分析，任务执行完后会向用户发送通知，用户还可以点击日志按钮实时查看任务执行进度。