[发明专利]数据采集方法、装置及终端设备

说明书

本发明适用于数据处理技术领域，提供了数据采集方法、装置及终端设备，包括：读取预先配置的配置文件；根据所述配置文件配置的采集任务，实时获取目标数据源数据，其中所述采集任务的数量大于或等于1，每个采集任务对应一个所述目标数据源；根据所述配置文件中与所述采集任务对应配置的解码器，解析所述目标数据源数据，得到第一数据；将所述第一数据进行格式转换，得到第二数据；发送所述第二数据至开源分布式流处理平台Kafka的集群中。本发明实施例能够实现多数据源、大数据量数据的实时采集。

技术领域

本发明属于数据处理技术领域，尤其涉及一种数据采集方法、装置及终端设备。

背景技术

随着大数据时代的来临，来源复杂的海量数据成为许多行业的重要信息资产。以金融行业为例，随着金融产品创新业务不断推出，交易方式层出不穷，证券公司的交易系统包括但不仅限于现货、期权、两融系统，由于交易风险时常出现，因此需要对各系统数据进行实时采集监控，以便及时作出风控措施。

现有的交易风控系统中，难以实时对多个系统的庞大数据进行采集，通常是采集日终清算后相对固定的数据进行风险预警，延时大，风险高。因此，实现多数据源、大数据量数据的实时采集是一个迫切的需求。

发明内容

有鉴于此，本发明实施例提供了数据采集方法、装置及终端设备，以解决现有技术中如何实时地采集多数据源、大数据量数据的问题。

本发明实施例的第一方面提供了一种数据采集方法，包括：

读取预先配置的配置文件；

根据所述配置文件配置的采集任务，实时获取目标数据源数据，其中所述采集任务的数量大于或等于1，每个采集任务对应一个所述目标数据源；

根据所述配置文件中与所述采集任务对应配置的解码器，解析所述目标数据源数据，得到第一数据；

将所述第一数据进行格式转换，得到第二数据；

发送所述第二数据至开源分布式流处理平台Kafka的集群中。

本发明实施例的第二方面提供了一种数据采集装置，包括：

读取单元，用于读取预先配置的配置文件；

数据获取单元，用于根据所述配置文件配置的采集任务，实时获取目标数据源数据，其中所述采集任务的数量大于或等于1，每个采集任务对应一个所述目标数据源；

解码器单元，用于根据所述配置文件中与所述采集任务对应配置的解码器，解析所述目标数据源数据，得到第一数据；

格式转换单元，将所述第一数据进行格式转换，得到第二数据；

发送单元，用于发送所述第二数据至开源分布式流处理平台Kafka的集群中。

本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如所述数据采集方法的步骤。

本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如数据采集方法的步骤。

本发明实施例与现有技术相比存在的有益效果是：本发明实施例中，由于根据配置文件的配置对目标数据源数据进行解码、加工，并且以任务流程链的形式将每一个处理步骤分开配置，因此能够灵活地使不同数据源的数据都得以格式统一地发送至Kafka集群，降低了对接不同数据源的复杂性，实现多数据源的采集；同时，由于Kafka高吞吐量、低延迟的特性，使得大数据量数据能够以高吞吐率被实时采集。

附图说明