[发明专利]一种数据采集存储的方法、装置及终端

说明书

本发明提供一种数据采集存储的方法、装置及终端，方法包括：将预定数据按照预定协议进行格式转换后，将转换后数据通过第一预定数据连接器存入预定缓存，再从预定缓存将转换后数据通过第二预定数据连接器加载到预定数据库。该方法通过第一预定数据连接器，可以实现将不同的数据源中的数据多线程同时存入预定缓存，并将存入预定缓存的数据通过第二预定数据连接器多线程同时加载到多个指定的数据库中，解决了现有技术的如下问题：无法对数据进行实时采集和传输，并且不能实现同时进行的多进程、多线程数据传输。

技术领域

本发明涉及网络技术领域，特别是涉及一种数据采集存储的方法、装置及终端。

背景技术

数据是当今社会最重要的资源之一，获取快速增长、庞大繁杂的数据资源，挖掘隐藏在数据背后有价值的信息，具有重大意义。目前的采集数据并存储到指定数据库的方法，需要集中从某一个数据源采集数据并集中存储到指定的数据库，对网络的传输能力和主机的存储能力要求比较高，并且无法对数据进行实时采集和传输，并且不能实现同时进行的多进程、多线程数据传输。

发明内容

本发明提供一种数据采集存储的方法及装置，用以解决现有技术的如下问题：现有数据采集存储的方法不能实现对数据的实时采集和传输，并且不能实现同时的多进程、多线程的数据传输。

为解决上述技术问题，本发明提供一种数据采集存储的方法及装置，方法包括：将预定数据按照预定协议进行格式转换，生成转换后数据；将所述转换后数据通过第一预定数据连接器存入预定缓存；从所述预定缓存将所述转换后数据通过第二预定数据连接器加载到预定数据库。

可选的，从所述预定缓存将所述转换后数据通过第二预定数据连接器加载到预定数据库，包括：所述预定缓存的组读取存储在所述预定缓存中的所述转换后数据；从所述预定缓存的组中将所述转换后数据按照数据类型通过第二预定数据连接器加载到所述预定数据库。

可选的，将所述转换后数据通过第一预定数据连接器存入预定缓存，包括：按照所述预定缓存的预设容量将所述转换后数据通过第一预定数据连接器存入所述预定缓存。

可选的，将所述转换后数据通过第一预定数据连接器存入预定缓存之后，还包括：将存入所述预定缓存的所述转换后数据进行数据标准化，生成标准化数据。

可选的，所述预定缓存为Kafka。

此外，为实现上述功能，本发明还提供一种数据采集存储的装置，包括：转换模块，用于将预定数据按照预定协议进行格式转换，生成转换后数据；存储模块，用于将所述转换后数据通过第一预定数据连接器存入预定缓存；加载模块，用于从所述预定缓存将所述转换后数据通过第二预定数据连接器加载到预定数据库。

可选的，所述加载模块，具体用于：所述预定缓存的组读取存储在所述预定缓存中的所述转换后数据；从所述预定缓存的组中将所述转换后数据按照数据类型通过第二预定数据连接器加载到所述预定数据库。

可选的，所述存储模块，具体用于：按照所述预定缓存的预设容量将所述转换后数据通过第一预定数据连接器存入所述预定缓存。

可选的，标准化处理模块，用于将存入所述预定缓存的所述转换后数据进行数据标准化，生成标准化数据。

此外，本发明还提供一种终端，包括上述数据采集存储的装置。

本发明提供一种数据采集存储的方法、装置及终端，方法包括：将预定数据按照预定协议进行格式转换后，将转换后数据通过第一预定数据连接器存入预定缓存，再从预定缓存将转换后数据通过第二预定数据连接器加载到预定数据库。该方法通过第一预定数据连接器，可以实现将不同的数据源中的数据多线程同时存入预定缓存，并将存入预定缓存的数据通过第二预定数据连接器多线程同时加载到多个指定的数据库中，解决了现有技术的如下问题：无法对数据进行实时采集和传输，并且不能实现同时进行的多进程、多线程数据传输。

附图说明