[发明专利]面向带有描述信息的海量非结构化数据分布式处理系统

权利要求书

1.一种面向带有描述信息的海量非结构化数据分布式处理架构，其特征是，它包括以下模块：

数据采集模块，包含数个采集终端，负责收集非结构化数据并将它们发送至数据缓冲及预处理模块的数据分布式缓冲队列中；

数据缓冲及预处理模块，主要包含一级数据分布式缓冲队列，用来暂存数据采集模块发送的数据；

数据分离及归档存储模块，从前一个模块的分布式队列中获取数据，并根据实际应用选择的对非结构化数据和描述信息分离，然后将分离后的数据转发或存储至分布式数据存储模块；

流处理模块，该模块基于现有的S4或Storm分布式流处理平台实现，对最近接入的数据实时监测、比对、计算和处理，得到的结果实时推送给后继模块中的分布式业务处理器，同时该模块也接收分布式业务处理器发来的信息和命令以满足可控性要求；

分布式数据存储模块，为满足海量数据需求，该模块中用两种可靠的分布式存储组件即分布式数据库和分布式文件系统，对非结构化数据和描述信息分别存储；

分布式业务处理模块，该模块作为应用业务处理的核心模块，主要包括以下几个组件：

（1）分布式业务处理器，该组件由分布在多台节点上的Share-Nothing式业务处理器组成，主要负责接收前端请求，通过与流处理模块交互和利用分布式计算框架MapReduce，来完成相应业务并向目的组件发送结果；

（2）非结构化数据访问单元，它不仅支持对已归档数据的访问，还能自动到缓冲队列中获取未来及归档的数据，这个过程对使用者而言是完全透明的；

（3）分布式数据缓存，无论是对非结构化数据本身还是对其描述信息的访问可能都会存在一定的延迟，分布式数据缓存组件能够缓解这一问题；

分布式消息中间件，该模块使用现成的中间件系统来充当，其主要功能是接收前端请求以供分布式业务处理器选择执行，业务完成结果也是通过该中间件经网络送达前端应用。

2.如权利要求1所述的面向带有描述信息的海量非结构化数据分布式处理架构，其特征是，所述数据采集模块中终端设备支持的，则对非结构化数据完成基本的描述信息识别或标注工作。

3.如权利要求1所述的面向带有描述信息的海量非结构化数据分布式处理架构，其特征是，所述数据缓冲及预处理模块中还包括数据修复及二次识别单元和二级分布式数据缓冲队列，数据修复及二次识别单元对数据采集模块中未对非结构化数据进行识别或标注的数据做修复或二次识别，然后将处理后的数据存入二级分布式缓冲队列中。

4.如权利要求1所述的面向带有描述信息的海量非结构化数据分布式处理架构，其特征是，所述数据分离及归档存储模块中，分离过程中需要添加描述信息到非结构化数据的关联，换言之需要支持根据某条特定的描述信息找到其对应的非结构化数据；对于后继的流处理模块，出于效率考虑仅需要描述信息；而分布式数据存储模块中对于非结构化数据及其描述的存储是分离的，前者归档并存入HDFS分布式文件系统，而后者存入HBase分布式数据库中。

5.如权利要求1所述的面向带有描述信息的海量非结构化数据分布式处理架构，其特征是，

分布式业务处理模块还包括描述信息访问单元，为了方便对特定描述信息的访问及操作，有时需要根据具体数据内容对基本操作进行适当封装，提供一个较为专一且方便的接口以供分布式业务处理器使用。

6.如权利要求1所述的面向带有描述信息的海量非结构化数据分布式处理架构，其特征是，

所述分布式业务处理器中，业务开始的触发模式有三种，分别是：前端请求触发、流处理模块推送触发以及自身计划任务触发，依托于分布式消息中间件，该处理器组件对于业务请求应提供负载均衡功能，每个节点上的处理器通过跟踪本地当前正在执行的业务，从消息中间件中挑选“合适”的请求并处理；当某个请求未能正常处理，则应根据实际情况选择返回错误信息或将请求交还消息中间件以供其他节点处理。