[发明专利]一种海量数据统计方法

摘要

本发明提供了一种海量数据统计方法，该方法建有MT、MC、MO三个数据库表，并在三个表中分别建立五个数据表空间。三个表分别分成91个分区，用于保存连续90天的数据。数据的查询和统计分析可根据日期计算要查询的分区号，根据分区号查找指定分区的数据。由于每个分区的数据量只相当于总数据的九十分之一，因此查询和保存数据的速度得到了极大的提高。多表关联改为单表查询大大提高了查询速度。查询结果的差集和交集技术又使需处理的数据量极大地减少，从而极大地提高了统计性能。该技术的应用使得对系统的硬件投资大大地降低，充分满足了中国移动对业务的需求。

主权项

1、一种海量数据统计方法，其特征在于，包括以下内容：A、建立MT、MC、MO三个数据库表结构A1、把MT、MC、MO三个表分别分成多个分区，每个分区相当于一个数据库小表，数据插入按分区进行，按日期划分分区，分区号根据日期产生且值在分区号范围内循环更新；A2、在MT、MC、MO三个表中分别建立五个数据表空间，一个分区使用一个表空间，相隔五个号的分区使用相同的表空间，即第6个分区使用和第1个分区相同的表空间，其他类推；A3、将CDR话单按属性区分为免费用户群、点播用户群和包月用户群，将免费用户群话单数据存放在MT表中、将点播用户群话单数据存放在MC表中、将包月用户群话单数据存放在MO表中；A4、各分区分别根据手机号建立索引；A5、建立免费用户群表，该表包含用户手机号码和状态二个字段，数据存放在特定的表空间，用户手机号码为主键，并使用索引表空间；A6、建立点播用户群表，该表包含用户手机号码、状态和点播数三个字段，数据存放在特定的表空间，用户手机号码为主键，并使用索引表空间；A7、建立包月用户群表，该表包含用户手机号码、状态和包月业务的项目数三个字段，数据存放在特定的表空间，用户手机号码为主键，并使用索引表空间；B、对特定属性的用户群从月初到月尾按天统计一个月的数据B1、查询并保存该月CDR中的只使用免费业务的用户并过滤已经存在的记录；B2、查询并保存该月CDR中的只使用点播业务的用户并过滤已经存在的记录；B3、查询并保存该月CDR中的只使用包月业务的用户并过滤已经存在的记录；B4、对免费用户群中有使用过其他业务的记录将其状态设置为无效：B5、对点播用户群中有使用过其他业务的记录将其状态设置为无效；B6、对包月用户群中有使用过其他业务的记录将其状态设置为无效。