[发明专利]一种信息处理方法及装置

权利要求书

1.一种信息处理方法，其特征在于，所述方法包括：

获取列式数据库中存储的列文件中数据；

获取分区算法集合，所述分区算法集合包括两种及两种以上的分区算法；

将所述列文件中数据作为所述分区算法结合中各种分区算法的输入，通过所述分区算法输出分区后的文件；

利用分区后的文件计算所述分区算法集合中每一种分区算法的分区效率；

将列式数据库的标识信息、所采用的分区算法及其对应的分区效率对应地存储起来。

2.根据权利要求1所述的方法，其特征在于，所述分区算法集合至少包括：范围分区算法、列式分区算法和列族分区算法。

3.根据权利要求1所述的方法，其特征在于，所述获取列式数据库中存储的列文件中数据，包括：

通过FTP方式从所述列式数据库获取原始日志，将所述原始日志按列生成多个列文件数据。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：

获取分区规则；

分析所述列文件中数据的特征；

将所述列文件中数据的特征与所述分区规则进行比对；

判断所述列文件中数据的特征是否与所述分区规则匹配，得到判断结果；

当所述判断结果表明所述列文件中数据的特征与所述分区规则不匹配时，在将所述列文件中数据作为所述分区算法结合中各种分区算法的输入。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

当所述判断结果表明所述列文件中数据的特征与所述分区规则匹配时，获取所述分区规则对应的分区算法及其对应的分区效率。

6.根据权利要求1或2或3或5所述的方法，其特征在于，所述方法还包括：将分区后的文件作为列文件中数据，然后再获取分区算法集合，将所述列文件中数据作为所述分区算法结合中各种分区算法的输入，通过所述分区算法输出分区后的文件；通过所述分区算法集合中每一种分区算法的分区效率。

7.根据权利要求1或2或3或5所述的方法，其特征在于，所述利用分区后的文件计算所述分区算法集合中每一种分区算法的分区效率，包括：

根据各个分区算法分区后的文件进行分区评估，得到分区比例；

对分区后的文件进行查询测试，得到查询时间；

根据分区算法的分区效率＝分区比例/平均查询时间，计算得到分区算法的分区效率。

8.根据权利要求1或2或3或5所述的方法，其特征在于，所述方法还包括：将列式数据库的标识信息、所采用的分区算法及其对应的分区效率以及查询时间对应地存储起来。

9.一种信息处理装置，其特征在于，所述装置包括第一获取单元、第二获取单元、分区单元、计算单元和存储单元，其中：

所述第一获取单元，用于获取列式数据库中存储的列文件中数据；

所述第二获取单元，用于获取分区算法集合，所述分区算法集合包括两种及两种以上的分区算法；

所述分区单元，用于将所述列文件中数据作为所述分区算法结合中各种分区算法的输入，通过所述分区算法输出分区后的文件；

所述计算单元，用于利用分区后的文件计算所述分区算法集合中每一种分区算法的分区效率；

所述存储单元，用于将列式数据库的标识信息、所采用的分区算法及其对应的分区效率对应地存储起来。

10.根据权利要求9所述的装置，其特征在于，所述第一获取单元，包括获取模块和生成模块，其中：

所述获取模块，用于通过FTP方式从所述列式数据库获取原始日志；

所述生成模块，用于将所述原始日志按列生成多个列文件数据。