[发明专利]一种多源异质数据融合平台

摘要

本发明公开了一种多源异质数据融合平台；其特征在于所述多源异质数据融合平台包括Metadata模块、数据读取模块、Transformer转换模块以及Foreign Key修复模块；该框架平台在实际项目中起到了不可替代的关键作用。即便第三方数据库为大幅简化数据同步技术而放弃约束选择提供含非法数据的低质量数据库，该框架仍然能将之转化为约束健全的、关系正确的、逻辑严密的、可以被生产环境直接访问的高质量数据库。正是此框架的底层支持，整个上层复杂应用的开发才变得可行。

主权项

一种多源异质数据融合平台，其特征在于：所述多源异质数据融合平台包括Metadata模块、数据读取模块、Transformer转换模块以及Foreign Key修复模块；其中，Metadata模块用于分析用户的代码结构，自动生成建表、建约束、建索引的SQL语句，在目标数据库中生成用户期望的数据结构；其中，系统数据读取模块从低质量源数据库直接读取所有数据；同时，从源数据库变更日志中源源不断地读取数据变更；其中，Transformer转换模块从事件队列中获取数据变更，调用用户代码，将旧的数据按照项目具体业务需要转变为期望的新数据；与此同时，Transformer转换模块将加工后的新数据放入高质量目标数据库；并且，Transformer转化模块通知Foreign Key修复模块新数据到来；所述，Foreign Key修复模块将目标数据库中可以因最新数据的到达而变得合法的所有外键约束全部修复。