[发明专利]大数据信息采集系统

说明书

本发明涉及一种大数据信息采集系统，该系统包括第一数据库，用以将从外部数据中采集到的数据经过第一传输信道以传输速度V10存储至第一数据库；采集模块，与第一数据库通过第二传输信道连接，用以根据输入的关键字符串从第一数据库内筛选与关键字符串匹配的数据，采集模块包括建立单元和筛选单元，建立单元应以建立第二传输信道，筛选单元用以将从第一数据库中筛选的数据通过第二传输信道以第二传输速度V20传输至采集模块；中控模块，分别与第一数据库、采集模块和展示模块连接。通过对第一传输速度和第二传输速度的调整，使得在进行传输后存储和数据筛选时根据数据传输量进行传输速度的匹配，实现数据的高效传输，提高数据采集效率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种大数据信息采集系统。

背景技术

数据(Data)是对事实、概念或指令的一种表达形式，可由人工或自动化装置进行处理。数据处理的基本目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据。

对于企业来说，每天产生的数据以及要处理的数据是庞杂的，而采集的数据是否全面以及对数据处理的方式正确与否都会影响到企业决策，若是数据不全面或处理不当，会给企业带来严重的后果，甚至带来无法挽回的巨大损失。

现有技术中，如何从海量的数据中获取对企业有用的数据成为各大企业关心的问题，可以通过搜索引擎进行搜素，以获取到相关的数据，但是对于数据的采集是否全面则无法进行评判。

发明内容

为此，本发明提供一种大数据信息采集系统，可以解决信息采集不全面的问题。

为实现上述目的，本发明提供一种大数据信息采集系统，包括：

第一数据库，用以将从外部数据中采集到的数据经过第一传输信道以传输速度V10存储至第一数据库；

采集模块，与所述第一数据库通过第二传输信道连接，用以根据输入的关键字符串从所述第一数据库内筛选与关键字符串匹配的数据，所述采集模块包括建立单元和筛选单元，建立单元应以建立第二传输信道，筛选单元用以将从第一数据库中筛选的数据通过第二传输信道以第二传输速度V20传输至采集模块；

展示模块，用以将筛选的数据进行分类别展示，以直观展示与关键字符串匹配的数据；

中控模块，分别与所述第一数据库、采集模块和展示模块连接；

在对第一数据库中的数据进行筛选时，根据第一数据库中存储的数据量对输入的关键字符串的结构进行调整，若第一数据库中的数据量第一数量n1，则减少关键字符串的结构，并提高第一传输信道的第一传输速度，提高第二传输信道的第二传输速度；

若第二数量n2第一数据库中的数据量≥第一数量n1，则无需对关键字符串的结构、第一传输速度、第二传输速度进行调整；

若第一数据库中的数据量≥第二数量n2，则增加关键字符串的结构，并提高第一传输信道的第一传输速度，降低第二传输信道的第二传输速度。

进一步地，从外部数据中采集到的数据存储至第一数据库时，所述第一数据库内设置有待监测数据库的数据库名称，若待监测数据库名称对应的数据库中增加了数据或减少了数据，则第一数据库中也进行镜像调整，使得第一数据库中的数据内容与待监测数据库名称对应的数据库内的数据变化实时对应，在进行镜像调整时，若第一数据库和待监测数据库名称对应的数据库属于不同的网络中，则建立异构网络传输信道；

若第一数据库和待监测数据库名称对应的数据库属于同一局域网，则建立通信网络传输信道。