[发明专利]一种基于多数据源的资料库管理系统、方法、设备和介质

权利要求书

1.一种基于多数据源的资料库管理系统，其特征在于，包括通信连接的数据请求模块、数据控制模块、数据对比模块、数据分类模块、数据存储模块和安全管理模块；

所述数据请求模块，用于响应任一多数据源的输入请求，对所述输入请求携带的输入数据进行格式转换和采用预设的重合数据库进行去重操作，对生成的去重文件根据约定秘钥构建对应的加密文件；

所述数据控制模块，用于基于所述约定秘钥对所述加密文件进行解密输出所述去重文件，并提取所述去重文件的初始信息；

所述数据对比模块，用于基于重合对比算法，采用资料库的写入资料对所述初始信息进行筛选，生成目标信息并更新所述重合数据库；

所述数据分类模块，用于采用爬虫技术爬取所述目标信息的信息关键词，将所述信息关键词输入预设的目标分类模型输出对应的分类结果；

所述数据存储模块，用于根据所述分类结果将所述目标信息导入所述资料库；

所述安全管理模块，用于对所述数据请求模块、所述数据控制模块、所述数据对比模块、所述数据分类模块和所述数据存储模块进行安全监测，并根据监测结果执行对应的告警机制。

2.根据权利要求1所述的基于多数据源的资料库管理系统，其特征在于，所述数据请求模块，具体用于：

响应任一多数据源的输入请求，解析所述输入请求获取对应的输入数据；

对所述输入数据进行格式转换生成XML文件，采用爬虫技术爬取所述XML文件的数据信息的数据关键词；

采用所述数据关键词与预设的重合数据库中的写入重合关键词进行匹配，确定匹配成功的目标数据关键词和目标重合关键词；

基于重合比对算法对所述目标数据关键词的数据信息与所述目标重合关键词的写入重合信息进行重合运算，输出重复信息；

对所述数据信息筛除所述重复信息，生成去重文件；

通过约定秘钥对所述去重文件进行加密，构建加密文件。

3.根据权利要求1所述的基于多数据源的资料库管理系统，其特征在于，所述数据对比模块，具体用于：

接收所述初始信息，并获取所述资料库的写入资料；

基于重合对比算法，对所述初始信息和所述写入资料进行重合比对输出重合信息；

根据所述重合信息对所述初始信息进行去重操作，生成目标信息；

采用爬虫技术对所述重合信息进行关键字爬取，构建对应的重合关键词；

将所述重合关键词和所述重合信息作为新的写入重合关键词和新的写入重合信息，导入所述重合数据库。

4.根据权利要求1所述的基于多数据源的资料库管理系统，其特征在于，所述数据分类模块，还用于：

获取类目样本数据，按预设比例将所述类目样本数据划分为训练数据和测试数据；其中所述类目样本数据包括所述资料库的主分类类目和从属分类类目以及对应的分类关键词；

基于蒙特卡罗算法，采用所述训练数据构建初始分类模型；

采用所述测试数据对所述初始分类模型进行验证，输出验证结果；

若所述验证结果为标准，则将所述初始分类模型作为目标分类模型；

若所述验证结果为不标准，则采用所述训练数据对所述初始分类模型进行训练优化，并跳转执行采用所述测试数据对所述初始分类模型进行验证，输出验证结果的步骤。

5.根据权利要求1所述的基于多数据源的资料库管理系统，其特征在于，所述安全管理模块包括安全监测单元和告警反馈单元；

所述安全监测单元，用于对所述数据请求模块、所述数据控制模块、所述数据对比模块、所述数据分类模块和所述数据存储模块进行实时数据安全监测并生成监测结果；

所述告警反馈单元，用于根据监测结果执行对应的告警机制。

6.根据权利要求5所述的基于多数据源的资料库管理系统，其特征在于，所述告警反馈单元，具体用于：

解析所述监测结果，获取所述监测结果的类型；

若所述类型为正常，则保持正常工作模式；

若所述类型为异常，则执行防护工作模式。