[发明专利]一种数据实时采集入库方法及系统

权利要求书

1.一种数据实时采集入库方法，其特征在于，该方法包括：

收集数据并获取所述数据的传输元信息；

根据所述数据的传输元信息，将所述数据传输至分布式消息中间件，通过所述分布式消息中间件进行异步批量数据发送；

根据需要消费的数据源列表，读取所述分布式消息中间件发送的数据，将数据根据不同类型分类标记后临时存放；

根据不同类型的数据，配置不同的入库策略，将所述临时存放的数据写入分布式存储系统中。

2.根据权利要求1所述的方法，其特征在于，收集数据时生成binlog文件，并将生成binlog文件写入本地磁盘。

3.根据权利要求1所述的方法，其特征在于，所述传输元信息包括：传输到分布式消息中间件的地址、端口、账号、密码和数据协议。

4.根据权利要求1所述的方法，其特征在于，所述配置不同的入库策略包括配置不同的存储格式和配置不同的文件滚动分割策略。

5.根据权利要求4所述的方法，其特征在于，所述配置不同的文件滚动分割策略包括配置不同周期的时间窗口，所述时间窗口用于进行文件滚动策略的更新。

6.一种数据实时采集入库系统，其特征在于，该系统包括数据接收端和批计算数据落库引擎；

所述数据接收端包括数据接入引擎和分布式消息系统，所述数据接入引擎用于提供外部数据接收服务；所述分布式消息系统用于接收所述数据接收端接收的数据，并向所述批计算数据落库引擎进行异步批量数据发送；

所述批计算数据落库引擎包括：

数据读取插件，所述数据读取插件从元数据中心获取需要消费的数据源列表，读取所述分布式消息中间件发送的数据，将数据根据不同类型分类标记后临时存放；

数据写入插件，所述数据写入插件根据不同类型的数据和配置不同的入库策略，将所述临时存放的数据写入分布式存储系统中。

7.根据权利要求6所述的系统，其特征在于，该系统还包括配置策略中心，所述配置策略中心根据需要消费的数据的不同类型和数据量，配置不同的入库策略，并将策略入库策略下发至数据写入插件。

8.根据权利要求6所述的系统，其特征在于，该系统还包括本地磁盘，所述数据接收端接收的数据异步写入分布式消息系统和本地磁盘存储。

9.根据权利要求6所述的系统，其特征在于，该系统还包括流计算引擎，所述流计算引擎用于进行消息分流中转给下游数据应用提供消费服务。

10.根据权利要求6所述的系统，其特征在于，所述入库策略包括配置不同的存储格式和配置不同的文件滚动分割策略，所述配置不同的文件滚动分割策略包括配置不同周期的时间窗口，所述时间窗口用于进行文件滚动策略的更新。