[发明专利]基于Http协议的多数据源的数据处理方法及系统

说明书

技术领域

本发明涉及数据集成和数据处理技术领域，特别涉及基于Http协议的多数据源的数据处理方法及系统。

背景技术

随着信息化技术的推进及新的实例单元的不断发布、融入和集成，企业级应用系统中多个数据库存储介质并存的现象已越来越普遍。而拥有了多数据源的数据库，也使企业数据碎片化日趋恶化，导致了企业内信息孤岛现象越来越严重。此外，对多数据源的数据处理操作，传统项目开发连接数据库的方式都是通过在项目配置数据源信息，由相应的数据源提供返回的数据库实例，然后项目直接对数据库进行读写操作。使用此类方式会将目标数据源的账号密码等安全信息暴露在项目的配置文件中，容易被破译入侵数据库。

发明内容

本发明的目的在于提供一种基于Http协议的多数据源的数据处理方法及系统，以解决上述技术问题的至少一个。

根据本发明的一个方面，提供了一种基于Http协议的多数据源的数据处理方法，包括：应用项目通过Http协议提交数据处理请求到多数据源的集成系统，处理请求的信息包括：数据源实例、数据表实体模型和操作指令；集成系统根据数据源统一管理中心分发系统的配置信息，将处理请求分发给目标数据库；目标数据库执行分发来的指令，返回处理结果给集成系统；集成系统将处理结果转换为应用项目可识别的对象，并将转换结果返回给应用项目。

通过本发明的方法，开发人员只需要根据应用项目的需求提出数据处理请求即可得到应用项目可识别的返回对象，具体数据源事务全部由集成系统处理，减轻了开发人员的数据处理压力，简化了数据库处理执行编码成本。

在一些实施方式中，应用项目通过spring提供的远程代理工厂调用Http彼端的远程数据源将请求信息提交给集成系统，集成系统通过spring事务管理拦截应用项目的处理请求信息。由此，可以实现数据源的远程调用，将数据库和应用项目分离，加固数据库的安全性。

在一些实施方式中，数据源统一管理中心通过独立的存储介质存储已经注册的数据源信息，当集成系统接收到应用项目的数据处理请求时，将其中包含的数据源实例提交给数据源统一管理中心，以根据已经注册的数据源信息从业务集群数据库中筛选出实例目标数据库；集成系统根据数据源统一管理中心各数据源的独立线程池管理操作线程进行判断，以将所述数据处理请求分发给所述目标数据库的操作指令结构化引擎，生成SQL语句。由此，可以实现对多种数据源的统一管理，无需在应用项目中对不同的数据源信息单独进行配置，减少了数据碎片，减低数据库的被破译风险。

在一些实施方式中，应用项目向集成系统提交的请求信息还可以增加条件实体选项，对数据表的数据作进一步筛选。由此，还可以具有方便应用层灵活控制数据处理的筛选条件以实现程序的更好扩展的效果。

在一些实施方式中，集成系统还可以对处理结果进行排序、去重、比较操作。由此，可以对处理结果进行一层过滤，去掉重复的冗余数据，并将数据有序的返回给应用，进一步减轻研发人员的数据处理负担，降低编码成本。

另外，本发明还公开了一种基于Http协议的多数据源的数据处理系统。该系统包括：应用项目单元，设置为通过Http协议向集成系统提交数据处理请求，处理请求的信息包括：数据源实例、数据表实体模型和操作指令；集成系统，包括信息接收模块、数据源统一管理中心及数据转换模块，信息接收模块接收到应用项目单元的处理请求后，提交请求信息给数据源统一管理中心，数据源统一管理中心根据中心分发系统的配置信息将处理请求分发给数据库集群中的目标数据库，由目标数据库执行分发来的指令，返回处理结果；数据转换模块将处理结果转化为应用项目单元可识别的对象，并将转换结果返回给应用项目单元。

通过本发明的系统，开发人员只需要根据应用项目的需求提出数据处理请求即可得到应用项目可识别的返回对象，具体数据源事务全部由集成系统处理，减轻了开发人员的数据处理压力，简化了数据库处理执行编码成本。

在一些实施方式中，应用项目单元通过spring提供的远程代理工厂调用Http彼端的远程数据源将处理请求提交给集成系统，集成系统通过spring事务管理拦截应用项目单元的数据处理请求。由此，可以实现数据源的远程调用，将数据库和应用项目单元分离，加强数据库的安全性。