[发明专利]一种数据实时采集入库方法及系统

说明书

本发明公开了一种数据实时采集入库方法和系统，包括：收集数据并获取数据的传输元信息；根据数据的传输元信息，将数据传输至分布式消息中间件，通过分布式消息中间件进行异步批量数据发送；根据需要消费的数据源列表，读取分布式消息中间件发送的数据，将数据根据不同类型分类标记后临时存放；根据不同类型的数据，配置不同的入库策略，将临时存放的数据写入分布式存储系统中。本发明的有益效果为：可以支持大规模数据的接入、传输和入库，实时落地可以支持大量不同类型的数据，从而提高数据接入的效率；并根据不同类型数据配置不同的入库策略，实现了接入日志数据源的低成本扩展，解决了大量分类的数据自动化接入以及差异化运维的难题。

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种数据实时采集入库方法及系统。

背景技术

近年来，随着人工智能、大数据、云计算等技术的高速发展，数字经济时代催生了以大数据为代表的新型生产要素，以数据驱动持续增长和创新发展是企业数字化转型的主线。同时，互联网，尤其是移动互联网的发展，使得企业与客户之间的数据触点不断丰富，线上与线下的融合趋势加强，数字营销成为当前数据驱动最为成熟的领域，所以海量数据的采集、传输和入库是企业接入大数据、人工智能的一个重要环节，数据采集的吞吐量、及时性以及需求接入效率是至关重要的。

现有的数据采集入库方式不支持多来源数据的消费，且数据源无法在不重启应用的情况下及时更新；也不支持多目标源的写入，且目标源无法在不重启应用的情况下及时更新。对于日常数据接入迭代较快、数目较大的数据采集入库的效率低、数据吞吐量低。

发明内容

为解决上述问题，本发明的目的在于提供一种支持大规模数据的接入、传输、落地，实现高的可用性、及时性和吞吐量的数据实时采集入库方法及系统。

本发明提供了一种数据实时采集入库方法，该方法包括：

收集数据并获取所述数据的传输元信息；

根据所述数据的传输元信息，将所述数据传输至分布式消息中间件，通过所述分布式消息中间件进行异步批量数据发送；

根据需要消费的数据源列表，读取所述分布式消息中间件发送的数据，将数据根据不同类型分类标记后临时存放；

根据不同类型的数据，配置不同的入库策略，将所述临时存放的数据写入分布式存储系统中。

作为本发明进一步的改进，收集数据时生成binlog文件，并将生成binlog文件写入本地磁盘。

作为本发明进一步的改进，所述传输元信息包括：传输到分布式消息中间件的地址、端口、账号、密码和数据协议。

作为本发明进一步的改进，所述配置不同的入库策略包括配置不同的存储格式和配置不同的文件滚动分割策略。

作为本发明进一步的改进，所述配置不同的文件滚动分割策略包括配置不同周期的时间窗口，所述时间窗口用于进行文件滚动策略的更新。

本发明还提供了一种数据实时采集入库系统，该系统包括数据接收端和批计算数据落库引擎；

所述数据接收端包括数据接入引擎和分布式消息系统，所述数据接入引擎用于提供外部数据接收服务；所述分布式消息系统用于接收所述数据接收端接收的数据，并向所述批计算数据落库引擎进行异步批量数据发送；

所述批计算数据落库引擎包括：

数据读取插件，所述数据读取插件从元数据中心获取需要消费的数据源列表，读取所述分布式消息中间件发送的数据，将数据根据不同类型分类标记后临时存放；

数据写入插件，所述数据写入插件根据不同类型的数据和配置不同的入库策略，将所述临时存放的数据写入分布式存储系统中。

作为本发明进一步的改进，该系统还包括配置策略中心，所述配置策略中心根据需要消费的数据的不同类型和数据量，配置不同的入库策略，并将策略入库策略下发至数据写入插件。