[发明专利]一种数据处理方法及系统

权利要求书

1.一种数据处理方法，其特征在于，所述方法包括：

采集原始数据；

对所述原始数据进行预处理得到预处理结果，将预处理结果存储至关系型数据库；

从所述关系型数据库中读取预处理结果，对预处理结果进行处理获得最终结果，并将最终结果保存至所述关系型数据库。

2.根据权利要求1所述的数据处理方法，其特征在于，所述对原始数据进行预处理得到预处理结果，将预处理结果存储至关系型数据库的步骤具体包括：

将所述原始数据写入本地缓存；

从本地缓存中读取原始数据，对原始数据进行第一预处理，得到第一预处理结果，并将所述第一预处理结果写入远程缓存；

从远程缓存中读取第一预处理结果，对第一预处理结果进行第二预处理，得到第二预处理结果，并将所述第二预处理结果写入所述关系型数据库。

3.根据权利要求1所述的数据处理方法，其特征在于，所述对原始数据进行预处理得到预处理结果，将预处理结果存储至关系型数据库的步骤具体包括：

将所述原始数据写入本地缓存或者远程缓存；

从本地缓存或者远程缓存中读取原始数据，对原始数据进行预处理，得到预处理结果，并将预处理结果写入关系型数据库。

4.根据权利要求1至3任一所述的数据处理方法，其特征在于，所述远程缓存为远程分布式缓存。

5.根据权利要求2所述的数据处理方法，其特征在于，在所述从远程缓存中读取第一预处理结果，对第一预处理结果进行第二预处理的步骤中，还包括：

在读取第一预处理结果之后，删除远程缓存中已被读取的第一预处理结果。

6.一种数据处理系统，包括数据采集器、关系型数据库和第二数据处理服务器，其特征在于，还包括数据采集及预处理子系统；

所述数据采集器，用于采集原始数据并上报至数据采集及预处理系统；

所述数据采集及预处理子系统，用于接收数据采集器上报的原始数据，对所述原始数据进行预处理得到预处理结果，将预处理结果存储至所述关系型数据库；

所述第二数据处理服务器，用于从关系型数据库中读取预处理结果，对预处理结果进行处理获得最终结果，将最终结果保存至关系型数据库。

7.根据权利要求6所述的数据处理系统，其特征在于，所述数据采集及预处理子系统包括：数据采集服务器、远程缓存服务器和第一数据处理服务器；

所述数据采集服务器，用于接收数据采集器上报的原始数据，先将所述原始数据写入本地缓存，再从本地缓存中读取原始数据，对原始数据进行第一预处理，得到第一预处理结果，并将第一预处理结果写入远程缓存服务器提供的远程缓存中；

所述远程缓存服务器，用于提供远程缓存空间以缓存所述第一预处理结果；

第一数据处理服务器，用于从所述远程缓存读取第一预处理结果，对第一预处理结果进行第二预处理，得到第二预处理结果，并将所述第二预处理结果写入所述关系型数据库。

8.根据权利要求6所述的数据处理系统，其特征在于，所述数据采集及预处理子系统包括数据采集服务器和第一数据处理服务器；或者，所述数据采集及预处理子系统包括数据采集服务器、远程缓存服务器和第一数据处理服务器；

所述数据采集服务器，用于接收数据采集器上报的原始数据，将所述原始数据写入本地缓存或者远程缓存服务器提供的远程缓存中；

所述第一数据处理服务器，用于从所述本地缓存或者远程缓存读取原始数据，对原始数据进行预处理，得到预处理结果，并将所述预处理结果写入所述关系型数据库。

9.根据权利要求7或8所述的数据处理系统，其特征在于，所述数据采集器、数据采集服务器、远程缓存服务器、第一数据处理服务器和第二数据处理服务器的数量均为至少一个。

10.根据权利要求9所述的数据处理系统，其特征在于，所述数据处理系统还包括负载均衡器；

所述负载均衡器，用于将各数据采集器的原始数据均衡分发至各数据采集服务器。