[发明专利]多源数据库全局搜索方法及系统

说明书

本发明属于数据搜索领域，提供了一种多源数据库全局搜索方法及系统。其中，多源数据库全局搜索方法包括将多源数据库中的表字段汇总写入一张数据库字典表进行字段管理；根据自定义全局搜索自动化规则自动化处理多源数据库中的表字段，生成一张全局搜索数据库字典表；将全局搜索数据库字典表中全局搜索字段和全局展示字段取并集，作为基准动态生成全文检索数据存储结构，并以原始库表名为成索引及类型；将全部可进行全局搜索的原始库表数据全部同步到业务数据库内；根据数据库字典表及全文检索数据存储结构对业务数据库进行引擎解析并将解析结果发送至前端页面展示。

技术领域

本发明属于数据搜索领域，尤其涉及一种多源数据库全局搜索方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

随着网络和信息技术的迅猛发展促进了社会的透明度，从而各行各业的数据也逐步开放。目前各机构单位及各系统的持续进行建设，沉淀的数据量越来越多，种类也越来越丰富。由于数据种类繁多，若从这些数据进行全局搜索需要耗费大量的人力来了解具体的业务数据，往往某系统建设的前端工程师是不需要关注具体业务，从而导致前端开发工程师与数据分析工程师之间存在紧耦合关系，无法独立的建设各自的功能模块。将前端开发与数据分析进行松耦合，各自之间的工作开发将互不影响成为了必要一种手段。

针对多源数据库进行全局搜索主要存在以下问题：

(1)数据来源途径多样化，无论是从互联网采集还是从其他厂商获取，或个机构单位部门提供内部数据，每种数据源提供可能是几十张或几百张表数据，但它们的数据结构是截然不同的及业务字段含义也是各自为主，针对上百张分类表进行人工比对不仅耗时耗力而且对业务字段的理解也存一定差异。

(2)在多源数据来源的情况下要保证原始数据结构及数据不被破坏，进一步对全局搜索字段进行规范标准化，使用传统的方式需要人工对每一张表中的字段进行规范化，并将规范化的字段输入到指定位置的字典配置表，人工录入过程中容易出现手误、错表配置等问题。

(3)多源数据的格式错乱复杂、形式不统一及各类数据总量大的情况下，在处理数据同步时候会出现各种各样的问题，导致全局搜索更加困难。

发明内容

为了解决上述问题，本发明提供一种多源数据库全局搜索方法及系统，其通过对多源数据库原始库表结构的分离及对分离后的数据字段进行规则处理，即保障了原始库原始结构的完整性与分离后的数据字段的一致性，又实现了对全局搜索字典表的自动化配置。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供一种多源数据库全局搜索方法。

在一个或多个实施例中，一种多源数据库全局搜索方法，包括：

将多源数据库中的表字段汇总写入一张数据库字典表进行字段管理；

根据自定义全局搜索自动化规则自动化处理多源数据库中的表字段，生成一张全局搜索数据库字典表；

将全局搜索数据库字典表中全局搜索字段和全局展示字段取并集，作为基准动态生成全文检索数据存储结构，并以原始库表名为成索引及类型；

将全部可进行全局搜索的原始库表数据全部同步到业务数据库内；

根据数据库字典表及全文检索数据存储结构对业务数据库进行引擎解析并将解析结果发送至前端页面展示。

本发明的第二个方面提供一种多源数据库全局搜索系统。

在一个或多个实施例中，一种多源数据库全局搜索系统，包括：

表结构汇总模块，其用于将多源数据库中的表字段汇总写入一张数据库字典表进行字段管理；