[发明专利]一种海量数据采集的方法

权利要求书

1.一种海量数据采集的方法，其特征在于，具体实现过程为：首先在子数据库安装采集客户端，该采集客户端与数据采集web服务、windows服务组成异步处理采集系统；母数据库通过该异步处理采集系统采集子数据库数据并按规则下发数据给子数据库的采集客户端。

2.根据权利要求1所述的一种海量数据采集的方法，其特征在于，所述采集客户端支持的数据库类型包括：SQLSERVER、Oracle、Mysql、Sybase。

3.根据权利要求1所述的一种海量数据采集的方法，其特征在于，安装有采集客户端的计算机通过数据库配置接口连接到安装母数据库的后台服务器，采集客户端对数据采集成功后，将该数据使用文件处理，这里的文件处理使用压缩文件的方式，每个压缩文件中均包含一个文本文件和一个数据描述xml文件，其中文本文件为实际采集数据，数据描述xml文件为文本文件中数据的规则；服务器将两个文件一起读取解析后再转换为可使用数据。

4.根据权利要求1所述的一种海量数据采集的方法，其特征在于，安装有母数据库的后台服务器通过异步排队机制支持采集客户端的并发请求操作，母数据库采集端对所有采集客户端上传的文件首先汇总到服务器的某个文件夹下，然后定期将文件更新到数据处理队列中，数据处理完毕后会将原数据包转移到另一个备份文件夹中。

5.根据权利要求4所述的一种海量数据采集的方法，其特征在于，上述后台服务器采用异步排队处理模式进行数据传输，且该异步处理使用以下多线程完成：

数据上传线程，检查客户端的数据文件夹中是否有已采集完毕的数据，有则加入上传队列；调用采集上传服务进行token验证，如果验证通过则将数据文件包分解成若干个24K的文件包进行传输；在传输的过程中，当遇到网络问题时，进行多次传输尝试，如果多次后仍失败，则在线程下次执行时继续尝试传输；

采集线程，检查采集任务队列中是否有待执行的采集任务；根据采集任务中的信息执行采集动作，并将采集的数据进行压缩打包，放到待上传的数据文件夹中；

自动采集时间判断线程，根据客户端设置的自动采集频率和时间，检查当前是否需要执行自动采集；如果需要执行数据采集，则在采集任务队列中增加自动采集的任务；

与服务器自动更新线程，与采集服务通信，下载最新数据采集定义、往服务器上报包括客户端版本号和经销商采集时间点的信息；

规则日志线程，线程启动时，创建全局缓存对象，构造对象时读取LOG.XML文件，将里面的dLog对象存在在_logList对象列表中；规则日志线程10秒检查一次缓存中日志对象列表有没有变化，有变化就重新生成Log.XML；

文本日志线程，线程启动时，创建全局缓存对象，线程10秒钟循环一次，声明一个StringBuild，将生成的日志信息增加到里面，写入以日期命名的Txt日志文件中；

版本自动检查线程，执行时调用采集服务，自动比对客户单文件的版本与服务端的版本；当客户端需要升级时，则调用升级程序对需要升级的文件进行下载，解压，覆盖。

6.根据权利要求5所述的一种海量数据采集的方法，其特征在于，在数据采集过程中，数据文件传输时使用AES加密，加密的秘钥为采集服务对每个客户端生成的一个36位GUID字符串，使得每个客户端的秘钥均不一样，保证数据传输中的安全性，具体为：

所有需要与服务器通信的客户端账号，均被分配一个唯一的密钥，每次申请通信时均需要使用唯一密钥、账号、密码验证，通过后才可进行文件传输，在数据文件传输过程中使用AES动态加密数据片段，且每次传输文件大小为24K，只有文件全部传输成功后，文件才可被使用。

7.根据权利要求5所述的一种海量数据采集的方法，其特征在于，后台服务器接收采集客户端的压缩文件上传，所有正在传输的文件均以.dat的后缀保存在传输目录中；当文件完成上传时，由客户端发起文件的改名操作，数据采集服务把文件后缀从.dat修改成.rar，并移动文件至文件导入工作目录中，同时通知文件导入功能。