[发明专利]大数据信息采集系统

权利要求书

1.一种大数据信息采集系统，其特征在于，包括：

第一数据库，用以将从外部数据中采集到的数据经过第一传输信道以传输速度V10存储至第一数据库；

采集模块，与所述第一数据库通过第二传输信道连接，用以根据输入的关键字符串从所述第一数据库内筛选与关键字符串匹配的数据，所述采集模块包括建立单元和筛选单元，建立单元应以建立第二传输信道，筛选单元用以将从第一数据库中筛选的数据通过第二传输信道以第二传输速度V20传输至采集模块；

展示模块，用以将筛选的数据进行分类别展示，以直观展示与关键字符串匹配的数据；

中控模块，分别与所述第一数据库、采集模块和展示模块连接；

在对第一数据库中的数据进行筛选时，根据第一数据库中存储的数据量对输入的关键字符串的结构进行调整，若第一数据库中的数据量第一数量n1，则减少关键字符串的结构，并提高第一传输信道的第一传输速度，提高第二传输信道的第二传输速度；

若第二数量n2第一数据库中的数据量≥第一数量n1，则无需对关键字符串的结构、第一传输速度、第二传输速度进行调整；

若第一数据库中的数据量≥第二数量n2，则增加关键字符串的结构，并提高第一传输信道的第一传输速度，降低第二传输信道的第二传输速度。

2.根据权利要求1所述的大数据信息采集系统，其特征在于，

从外部数据中采集到的数据存储至第一数据库时，所述第一数据库内设置有待监测数据库的数据库名称，若待监测数据库名称对应的数据库中增加了数据或减少了数据，则第一数据库中也进行镜像调整，使得第一数据库中的数据内容与待监测数据库名称对应的数据库内的数据变化实时对应，在进行镜像调整时，若第一数据库和待监测数据库名称对应的数据库属于不同的网络中，则建立异构网络传输信道；

若第一数据库和待监测数据库名称对应的数据库属于同一局域网，则建立通信网络传输信道。

3.根据权利要求2所述的大数据信息采集系统，其特征在于，

在第一数据库内设置有检测周期矩阵T(T1，T2，T3)，其中T1表示第一检测周期，T2表示第二检测周期，T3表示第三检测周期，且T1T2T3，待监控数据库名称设置有多个，根据待监测数据库名称对应的数据库的更新频率，若待监测数据库名称对应的数据库的更新频率属于第一频率f1，则采用第一检测周期T1对相应的数据库进行监测数据库是否有更新；

若待监测数据库名称对应的数据库的更新频率属于第二频率f2，则采用第二检测周期T2对相应的数据库进行监测数据库是否有更新；

若待监测数据库名称对应的数据库的更新频率属于第三频率f3，则采用第三检测周期T3对相应的数据库进行监测数据库是否有更新，其中f1f2f3。

4.根据权利要求3所述的大数据信息采集系统，其特征在于，

所述第一数据库内包括有N1，N2，N3…Nn多条信息，每条信息的长度分别为L1，L2，L3…Ln，关键字符串的长度设置为标准字符串长度lx，在确定第一数据库内的信息中是否包含关键字符串时，将每条信息的长度分别与标准字符串长度进行比较，若Li标准字符串长度lx，则表示该条信息内不包含关键字符串，则无需对该条信息进行采集；

若Li≥标准字符串长度lx，则将满足长度要求的信息库建立第一信息库矩阵M(M1，M2…Mk)，其中kn，对于第一信息库进行判断时，从第一信息Mi中的第1个字符开始，选择n个字符，将n个字符与标准字符串的字符进行比较，若n个字符中与标准字符串的字符重合率大于90％则表示第一数据Mi中包含关键字符串；

从第一信息Mi中的第2个字符开始，选择n个字符，将n个字符与标准字符串的字符进行比较，若n个字符中与标准字符串的字符重合率大于90％则表示第一信息Mi中包含关键字符串；

从第一信息Mi中的第k个字符开始，选择n个字符，将n个字符与标准字符串的字符进行比较，若n个字符中与标准字符串的字符重合率大于90％则表示第一信息Mi中包含关键字符串。