[发明专利]一种海量数据处理方法及系统

权利要求书

1.一种海量数据处理方法，其特征在于，该方法包括：

根据原始用户数据特征，对原始用户数据进行实时编码并同步输出；

对编码后的数据进行并行预处理，对预处理后的数据进行统计处理并同步输出；

按照不同的编码方式，分类存储统计处理后的数据。

2.根据权利要求1所述的海量数据处理方法，其特征在于，所述对原始用户数据进行实时编码包括：对所述原始用户数据，按照预先根据原始用户数据特征设置的编码方式进行实时编码。

3.根据权利要求2所述的海量数据处理方法，其特征在于，如果与所述原始用户数据对应的编码方式不存在编码信息，该方法之前还包括：对所述原始用户数据，按照预先根据原始用户数据特征设置的编码方式进行实时编码并输出编码管理数据。

4.根据权利要求3所述的海量数据处理方法，其特征在于，如果与所述原始用户数据对应的编码方式不存在编码信息，采用预先设置的指定编码方式进行实时编码并输出编码管理数据。

5.根据权利要求1所述的海量数据处理方法，其特征在于，所述对编码后的数据进行并行预处理之后，还包括：按照预先设置的存储结构，将预处理后的数据存入内存缓存中。

6.一种海量数据处理系统，其特征在于，包括数据编码单元、数据处理单元、数据汇总单元、数据存储单元和实时同步单元，其中，

数据编码单元，用于按照预先设置的编码方式对原始用户数据进行实时编码并同步输出给数据处理单元；

数据处理单元，用于对编码后的数据进行并行预处理，并同步输出给数据汇总单元；

数据汇总单元，用于对预处理后的数据进行统计处理并同步输出给数据存储单元；

数据存储单元，用于按照不同的编码方式，分类存储统计处理后的数据；

实时同步单元，用于向各单元发送保证各个单元产生的数据的同步输出的同步指示。

7.根据权利要求6所述的海量数据处理系统，其特征在于，所述系统还包括编码管理单元，

当存在不能对原始用户数据进行编码时，所述数据编码单元，还用于向编码管理单元输出编码通知，并缓存编码后的数据；

所述编码管理单元，用于接收到来自数据编码单元的编码通知，按照预先设置的编码方式或指定编码方式对原始用户数据进行实时编码并同步输出给数据编码单元和数据处理单元。

8.根据权利要求7所述的海量数据处理系统，其特征在于，所述编码管理单元包括两个或两个以上，形成热备方式。

9.根据权利要求6或7所述的海量数据处理系统，其特征在于，所述系统还包括数据解码单元，用于对存储的数据或编码管理数据进行解码并输出。

10.根据权利要求6所述的海量数据处理系统，其特征在于，所述数据编码单元为一组；

所述数据处理单元为数十个64位构架服务器，同时并行处理；

所述数据汇总单元为两个或两个以上；

所述数据存储单元可以包括两个或两个以上，形成备份存储。