[发明专利]一种大数据处理方法及系统

权利要求书

1.一种大数据处理方法，其特征在于，所述方法包括：

获取包含不同类型大数据文件的原始文件；

将所述原始文件根据大数据文件的类型拆分为不同归类的多个子数据文件；

对所述多个子数据文件按照不同归类分配相应的服务器，并在不同服务器上同时对所述多个子数据文件进行处理。

2.根据权利要求1所述的方法，其特征在于，所述获取包含不同类型大数据文件的原始文件，包括：

创建经二次开发的实现排版功能的表格；

建立所述表格的显示逻辑与内存数据库之间的关联关系；

识别对所述表格的操作命令，根据所述操作命令以及关联关系，从所述内存数据库中获取包含不同类型大数据文件的原始文件，并以表格形式呈现；

其中，所述内存数据库用于存储不同类型的大数据文件。

3.根据权利要求2所述的方法，其特征在于，在所述建立所述表格的显示逻辑与内存数据库之间的关联关系之后，所述方法还包括：

根据所述表格的行号，对内存数据库中的数据建立索引，并根据所述建立的索引读取内存数据库中相应的数据。

4.根据权利要求1、2或3所述的方法，其特征在于，在所述将所述原始文件拆分为不同归类的多个子数据文件时，所述方法还包括：

采集对所述原始文件拆分操作对应的sql语句；

解析出所述sql语句中的数据表以及所述数据表中的字段和字段值；

根据所述数据表以及所述数据表中的字段和字段值，自动生成代码，并对所述生成的代码进行编译，生成动态链接库文件或可执行程序文件，执行拆分包含大数据文件的原始文件。

5.根据权利要求1所述的方法，其特征在于，在进行拆分操作时，若请求 拆分的数量大于预定限额，查询用户的历史数据；

基于所述历史数据在聚类后的分类中查找对应分类。

6.一种大数据处理系统，其特征在于，所述系统包括：获取单元、拆分单元和处理单元；其中，

所述获取单元，用于获取包含不同类型大数据文件的原始文件；

所述拆分单元，用于将所述原始文件根据大数据文件的类型拆分为不同归类的多个子数据文件；

所述处理单元，用于对所述多个子数据文件按照不同归类分配相应的服务器，并在不同服务器上同时对所述多个子数据文件进行处理。

7.根据权利要求6所述的系统，其特征在于，所述获取单元包括：

表格创建单元，用于创建经二次开发的实现排版功能的表格；

关联关系建立单元，用于建立所述表格的显示逻辑与内存数据库之间的关联关系；

第一处理单元，用于识别对所述表格的操作命令，根据所述操作命令以及关联关系，从所述内存数据库中获取包含不同类型大数据文件的原始文件，并以表格形式呈现；

其中，所述内存数据库用于存储不同类型的大数据文件。

8.根据权利要求7所述的系统，其特征在于，所述获取单元还包括索引建立单元，用于在所述关联关系建立单元建立所述表格的显示逻辑与内存数据库之间的关联关系之后，根据所述表格的行号，对内存数据库中的数据建立索引，并根据所述建立的索引读取内存数据库中相应的数据。

9.根据权利要求6、7或8所述的系统，其特征在于，在所述拆分单元将所述原始文件拆分为不同归类的多个子数据文件时，所述系统还包括：

采集单元，用于采集对所述原始文件拆分操作对应的sql语句；

解析单元，用于解析出所述sql语句中的数据表以及所述数据表中的字段和字段值；

第二处理单元，用于根据所述数据表以及所述数据表中的字段和字段值， 自动生成代码，并对所述生成的代码进行编译，生成动态链接库文件或可执行程序文件，执行拆分包含大数据文件的原始文件。

10.根据权利要求6所述的系统，其特征在于，在进行拆分操作时，若请求拆分的数量大于预定限额，查询用户的历史数据；

基于所述历史数据在聚类后的分类中查找对应分类。