[发明专利]一种基于json的mongoDB到mysql的数据抽取方法

说明书

本发明公开了一种基于json的mongoDB到mysql的数据抽取方法，涉及数据抽取技术领域。本发明包括通过UGetMOongoPlus处理器加载并存储mongoDB数据库的配置信息，通过执行sql查询语句从mongoDB数据库读取数据；并将数据json格式输出到队列中；通过MongoMappingProcessor处理器加载并保存json转换配置信息；将json格式数据映射到mysql数据表字段；通过ULoadProcessor处理器加载关系型数据库mysql连接配置信息、数据信息以及数据表信息，并将json格式数据存储到mysql数据库。本发明可视化页面配置数据从mongoDB到mysql的转移信息,简单直观，方便快捷；数据以json格式从源mongoDB流到目的mysql数据库；操作人员不用写命令行、sql脚本或者shell脚本，提高效率。

技术领域

本发明属于数据抽取技术领域，特别是涉及一种基于json的mongoDB到mysql的数据抽取方法。

背景技术

随着mongoDB非关系型数据库在软件应用中的不断增加，文档存储带来的使用优势得到越来越多的程序员及公司的认同，mongoDB得到广泛应用；而有许多场景用关系型数据库来展示业务数据的优势mongoDB还无法取代。因此存在数据从mongoDB数据库到关系型数据库mysql的转移；另外，有很多原有的业务系统是构建在mysql数据库上面的，同样存在从mongoDB数据库到mysql数据库的转移需求。

如图所示11，数据从mongoDB数据库到mysql数据库转移的常见技术方案是，先把mongoDB里面的数据导出到csv文件或者txt文件中，然后再把csv文件或者txt文件中的数据导入到mysql数据库中。但是，这种处理方式存在如下缺点：a、从mongoDB读取数据需要命令行操作，对操作人员专业知识要求高；b、向mysql写入数据需要编写sql脚本或者shell脚本，需要操作人员掌握必要的专业技能；c、不具有可视化操作界面，用户体验差。

鉴于此，本发明提供一种基于json的mongoDB到mysql的数据抽取方法，通过可视化配置的方式，实现数据从mongoDB数据库到mysql数据库的数据转移；利用json技术实现数据从mongoDB到mysql转换过程中的数据对应关系，便于直观查看数据从源到目的的变换；实现mongoDB中的数据和mysql中的数据的对应关系。

发明内容

本发明的目的在于提供一种基于json的mongoDB到mysql的数据抽取方法，实现数据从mongoDB数据库到mysql数据库的数据转移；利用json技术实现数据从mongoDB到mysql转换过程中的数据对应关系，便于直观查看数据从源到目的的变换；实现mongoDB中的数据和mysql中的数据的对应关系。

为解决上述技术问题，本发明是通过以下技术方案实现的：

本发明为一种基于json的mongoDB到mysql的数据抽取方法，包括如下步骤：

S00：配置mongoDB数据库信息连接到mongoDB数据库；

S01：通过UGetMOongoPlus处理器加载并存储mongoDB数据库的配置信息，通过执行sql查询语句从mongoDB数据库读取数据；并将数据json格式输出到队列中；

其中，所述sql查询语句通过配置信息中配置后产生；

A02：通过MongoMappingProcessor处理器加载并保存json转换配置信息；将json格式数据映射到mysql数据表字段；

S03：通过ULoadProcessor处理器加载关系型数据库mysql连接配置信息、数据信息以及数据表信息，并将json格式数据存储到mysql数据库。