[发明专利]一种基于多数据源的资料库管理系统、方法、设备和介质

说明书

本发明公开了一种基于多数据源的资料库管理系统、方法、设备和介质，包括通信连接的数据请求模块、数据控制模块、数据对比模块、数据分类模块、数据存储模块和安全管理模块，数据请求模块响应任一多数据源的输入请求，对输入数据进行格式转换和初步去重生成去重文件，根据约定秘钥加密传输去重文件至数据控制模块，数据控制模块解密后提取去重文件的初始信息，数据对比模块采用写入资料对初始信息进行去重筛选生成目标信息并更新重合数据库，数据分类模块基于目标分类模型采用目标信息的信息关键词确定分类结果，数据存储模块根据分类结果将目标信息导入资料库，安全管理模块对系统进行安全管控，以提高资料库整体的管理可靠性。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于多数据源的资料库管理系统、方法、设备和介质。

背景技术

在大数据时代，海量数据的存储成为人们日益关注的重点，而随着互联网的快速发展，网络资料库作为一种可以对各种资料集中存储的管理设备进入发展热潮。

网络资料库的现有管理技术中，面对不同源的数据进行收集存储时，需先对数据进行格式统一转换导致系统构建较为复杂，同时由于数据来源广而可能与网络资料库中的数据重复，重复资料存储会造成额外的内存占用且后续资料查阅效率低，影响了网络资料库整体的管理可靠性。

发明内容

本发明提供了一种基于多数据源的资料库管理系统、方法、设备和介质，解决了现有技术中网络资料库整体的管理可靠性较低的技术问题。

本发明第一方面提供了一种基于多数据源的资料库管理系统，包括通信连接的数据请求模块、数据控制模块、数据对比模块、数据分类模块、数据存储模块和安全管理模块；

所述数据请求模块，用于响应任一多数据源的输入请求，对所述输入请求携带的输入数据进行格式转换和采用预设的重合数据库进行去重操作，对生成的去重文件根据约定秘钥构建对应的加密文件；

所述数据控制模块，用于基于所述约定秘钥对所述加密文件进行解密输出所述去重文件，并提取所述去重文件的初始信息；

所述数据对比模块，用于基于重合对比算法，采用资料库的写入资料对所述初始信息进行筛选，生成目标信息并更新所述重合数据库；

所述数据分类模块，用于采用爬虫技术爬取所述目标信息的信息关键词，将所述信息关键词输入预设的目标分类模型输出对应的分类结果；

所述数据存储模块，用于根据所述分类结果将所述目标信息导入所述资料库；

所述安全管理模块，用于对所述数据请求模块、所述数据控制模块、所述数据对比模块、所述数据分类模块和所述数据存储模块进行安全监测，并根据监测结果执行对应的告警机制。

可选地，所述数据请求模块，具体用于：

响应任一多数据源的输入请求，解析所述输入请求获取对应的输入数据；

对所述输入数据进行格式转换生成XML文件，采用爬虫技术爬取所述XML文件的数据信息的数据关键词；

采用所述数据关键词与预设的重合数据库中的写入重合关键词进行匹配，确定匹配成功的目标数据关键词和目标重合关键词；

基于重合比对算法对所述目标数据关键词的数据信息与所述目标重合关键词的写入重合信息进行重合运算，输出重复信息；

对所述数据信息筛除所述重复信息，生成去重文件；

通过约定秘钥对所述去重文件进行加密，构建加密文件。

可选地，所述数据对比模块，具体用于：

接收所述初始信息，并获取所述资料库的写入资料；

基于重合对比算法，对所述初始信息和所述写入资料进行重合比对输出重合信息；