[发明专利]一种通用的跨操作系统的海量历史数据处理方法

说明书

技术领域

本发明涉及一种计算机数据库应用技术，具体地说是一种不同数据库产品触发器机制，以及J2EE中JDBC技术与数据库通信的操作。JDBC可以做到跨数据库产品，可以支持绝大多数数据库产品实现本发明的方法。

背景技术

传统的解决海量数据的方案主要有，购买昂贵的商用数据库产品：比如Oracle，DB2等，使用ELT引擎进行处理，或者购买数据库厂商提供的专业数据优化服务，或者购买硬件产品：加大CPU，内存等，这些方案的代价都比较高，对已中小型企业来说会造成很大的经济压力，但是通过基于纯程序实现海量历史数据的优化，不需要购买专业的商业数据库产品，使用开源的数据库产品，比如MySql都可以实现，也不需要购买专业的DBA服务，程序的实现不需要用户来实现，软件产品提供商完全可以实现该方案，对于中小企业来说，能够节省一大笔费用。

发明内容

本发明的目的是提供一种通用的跨操作系统的海量历史数据处理方法。

本发明的目的是按以下方式实现的，系统包括以下模块：

针对不同数据库产品的的触发器模块：是针对不同数据库产品的触发器，触发数据库在数据达到一定数量或者在一定时间以后自动将数据库数据导出到本地硬盘，方便用户日后查询使用；

通用的处理不同数据库产品与应用程序通信模块：利用J2EE的JDBC技术在软件中提示用户进行数据导入，并且在用户查看完历史数据后，程序会自动引导数据库删除用户刚刚引入的数据。

针对不同数据库产品的的触发器模块需要按时间周期或者数据量进行数据导出，导出之后删除数据库中的数据，以达到减轻数据库压力，加快数据库查询。

JDBC技术中要做到数据透明式导入，透明式删除，不会对用户正常使用造成不便。

本发明的有益效果：方便中小企业实现海量数据处理，并且不需要购买额外的硬件设备，数据库产品，使用纯程序方式实现，减轻中小企业的运营成本，促进企业信息化发展。利用Java语言的跨平台优势，使该方案做到跨数据库产品，并且实现海量数据的处理，该方案要实现数据库海量历史数据的自动导入导出，并且不影响用户的正常使用，以达到为用户节约成本的目的。

附图说明

图1是传统海量数据的处理方式；

图2是通用跨平台的海量数据处理方式；

图3是基于程序的跨平台海量数据处理方式。

具体实施方式

参照附图对本发明的方法作以下详细的说明。

如附图所示，利用不同数据库的触发机制实现数据库数据按周期或者数据量导出，导出后删除数据库对应内容，减轻数据库查询压力，提高查询速度，减轻中小企业的运营成本，主要模块有：针对不同数据库产品的的触发器模块和通用的处理不同数据库产品与应用程序通信模块，其中，

针对不同数据库产品的的触发器模块：是针对不同数据库产品的触发器，触发数据库在数据达到一定数量或者在一定时间以后自动将数据库数据导出到本地硬盘，方便用户日后查询使用；

通用的处理不同数据库产品与应用程序通信模块：利用J2EE的JDBC技术在软件中提示用户进行数据导入，并且在用户查看完历史数据后，程序会自动引导数据库删除用户刚刚引入的数据。

实施例

对本发明的内容以一个具体实例来描述实现这一方法的过程。

1.针对不同数据库厂商数据库产品，实现相应数据库产品的触发器，利用触发器对数据进行按时间周期或者数据量进行自动导入，删除。

2.使用J2EE的JDBC技术，在程序中提示用户进行数据导入，删除，方便用户查看历史数据

3.针对软件中不同数据库产品实现不同的触发器机制，并且设计好针对安装数据库的PC机或者服务器的断电异常处理机制，数据导出之后，将对应数据删除

4.在程序中采用J2EE中JDBC技术，因为JDBC技术很容易实现跨数据库产品的数据库与程序通信，并且在用户需要查看历史数据时，能够提醒用户进行数据导入，能够实现数据的透明式导入，在用户查看完历史数据后并推出应用系统后，可以利用程序与数据库通信，进行数据库数据自动删除。