[发明专利]基于大数据的数据处理方法和装置

权利要求书

1.一种基于大数据的数据处理方法，包括：

实时监控并采集各个数据源的第一数据，所述第一数据为所述各个数据源的新增数据；

将所述第一数据传输至分布式消息系统进行存储；

从所述分布式消息系统中读取所述第一数据，并将所述第一数据转化为预设格式，得到第二数据；

获取与所述第二数据中预设字段的数据对应的数据处理框架，并将所述第二数据发送到与所述数据处理框架匹配的节点中，所述第二数据对应至少一个数据处理框架；

通过所述节点对所述第二数据进行处理，并将所述第二数据写入与所述节点匹配的数据处理框架。

2.根据权利要求1所述的基于大数据的数据处理方法，其特征在于，所述实时监控并采集各个数据源的第一数据，包括：

实时监控指定的各个数据源；

当检测到任一数据源中存在新增的第一数据时，则读取所述第一数据；

解析所述第一数据，并将解析后的第一数据写入管道中。

3.根据权利要求2所述的基于大数据的数据处理方法，其特征在于，所述将所述第一数据传输至分布式消息系统进行存储，包括：

通过所述管道将所述第一数据传输至分布式消息系统的消息队列；

依次根据所述消息队列中第一数据的类别对所述第一数据进行存储。

4.根据权利要求1所述的基于大数据的数据处理方法，其特征在于，所述数据处理框架包括Hive；

所述通过所述节点对所述第二数据进行处理，并将所述第二数据写入与所述节点匹配的数据处理框架，包括：

通过与所述Hive匹配的节点将所述第二数据写入Hive入库文件；

将所述Hive入库文件加载至预先建立的Hive临时表；

每隔预设时间将所述Hive临时表中的第二数据同步至与所述Hive临时表对应的Hive正式表中。

5.根据权利要求1或4所述的基于大数据的数据处理方法，其特征在于，所述数据处理框架包括Hbase；

所述通过所述节点对所述第二数据进行处理，并将所述第二数据写入与所述节点匹配的数据处理框架，包括：

通过与所述Hbase匹配的节点获取预先定义的主键组成方式；

根据所述主键组成方式构建插入对象；

获取所述插入对象中定义的各个字段对应的数据类型；

根据所述各个字段及对应的数据类型从所述第二数据中提取与各个字段匹配的数据；

将所述与各个字段匹配的数据转化为字节数组，并插入到所述插入对象中；

将所述插入对象添加到列表中，并根据所述列表将所述第二数据导入所述Hbase。

6.一种基于大数据的数据处理装置，其特征在于，包括：

采集模块，用于实时监控并采集各个数据源的第一数据，所述第一数据为所述各个数据源的新增数据；

传输模块，用于将所述第一数据传输至分布式消息系统进行存储；

转化模块，用于从所述分布式消息系统中读取所述第一数据，并将所述第一数据转化为预设格式，得到第二数据；

发送模块，用于获取与所述第二数据中预设字段的数据对应的数据处理框架，并将所述第二数据发送到与所述数据处理框架匹配的节点中，所述第二数据对应至少一个数据处理框架；

处理模块，用于通过所述节点对所述第二数据进行处理，并将所述第二数据写入与所述节点匹配的数据处理框架。

7.根据权利要求6所述的基于大数据的数据处理装置，其特征在于，所述采集模块，包括：

监控单元，用于实时监控指定的各个数据源；

读取单元，用于当检测到任一数据源中存在新增的第一数据时，则读取所述第一数据；

解析单元，用于解析所述第一数据，并将解析后的第一数据写入管道中。

8.根据权利要求7所述的基于大数据的数据处理装置，其特征在于，所述传输模块，包括：

传输单元，用于通过所述管道将所述第一数据传输至分布式消息系统的消息队列；

存储单元，用于依次根据所述消息队列中第一数据的类别对所述第一数据进行存储。