[发明专利]一种话单排重方法和装置

说明书

技术领域

本发明涉及通信领域中的业务支撑技术，具体地，涉及话单排重的方法及装置。

背景技术

排重是计费系统的一个重要环节，计费系统从网元采集话单后，为了保证用户话单的唯一性，必须进行排重处理，排除重复的话单。随着电信业务的日益复杂、运营商的用户数日益增多，计费系统每日要处理海量的话单，排重的性能尤为重要。

现有的排重技术可以分为三种：一种是传统的数据库排重方法，利用数据库的主键必须唯一的特性进行排重；一种是文件排重方法，利用文件系统的文件路径、文件名或文件记录必须唯一的特性进行排重；一种是内存排重方法，利用内存的排重关键字必须唯一的特性进行排重。相比而言，内存排重方法由于不需要进行慢速的IO和外部数据库系统的访问，具备快速数据传输的特点，因此效率较高。

现有的内存排重原理是：(1)将某一时间段的排重索引文件装入内存，将装入的当前话单记录和载入内存的排重索引进行比较；(2)如果排重关键字没有找到对应的时间段，则需要装载进此时间段的排重索引文件进入内存，再进行比较；(3)对应的时间段装入内存后，若在内存中命中排重关键字，表明当前的话单记录是重复的话单记录，直接写入重单文件，若没有命中，则说明是新的排重索引，更新内存；(4)将内存中的排重索引更新到磁盘中。

申请号为200810183273.9、公开日为2009年5月27日的中国发明专利申请公开了一种话单剔重方法和装置，该方法和装置在话单的内存排重过程中进行应用，综合了哈希表、平衡二叉树和MD5的技术，提高了话单内存排重的效率，节约了存储空间。但在另一方面，在话单排重时，如果在内存的排重索引中找不到对应的话单排重关键字，则需要在内存中增加新的排重索引，如果不及时将内存中的新排重索引提交到磁盘中，那么在程序异常、宕机、掉电时，新排重索引就可能丢失，而申请号为200810183273.9、公开日为2009年5月27日的中国发明专利申请并没有提出上述如何将内存的排重索引快速的保存到磁盘中的技术解决方案。

在实现本发明过程中，发明人发现现有技术中的将内存的排重索引快速的保存到磁盘中至少存在如下问题：

(1)以话单为单位输出更新后的索引增量文件，会导致索引增量文件过多，将会产生大量的小而碎的文件，同时需要大量文件的打开、关闭操作，文件太碎降低了磁盘的访问效率；

(2)因为需要大量的IO读写操作，直接对索引增量文件进行合并，消耗的时间较长；

(3)对话单文件中的话单进行排重必须等待索引增量文件合并完毕后或排重索引保存到磁盘完毕后才可以进行下去，排重效率不高；

(4)由于运营商的话单种类众多，每种话单的数量级和时间跨度特征都不相同，例如国际漫游语音/短信话单数量较少，但时间跨度很大，有可能收到1个月前的话单；这样按照某一时间段加载的内存就会由于要参与的排重数据较多导致排重效率下降的问题。例如，某日国际漫游的语音话单有10条，而当日的国内语音话单有100万条，那么需要在1000010条话单中查找接收到的国际漫游的语音话单是否存在重单，不但消耗内存，而且查找效率低下，内存中的排重索引保存到磁盘中的时间也会明显加长。

发明内容

本发明的目的是针对现有技术中话单排重过程中话单索引文件保存到磁盘中存在的效率低下的缺陷，提出一种话单排重的方法及装置，以提高话单排重的整体效率。

为实现上述目的，根据本发明的一个方面，提供了一种话单排重的方法。

根据本发明实施例的话单排重的方法，包括：将排重索引内存划分为对应磁盘的多个内存索引堆，每个内存索引堆与对应磁盘中的话单索引文件对应；根据接收的话单文件及内存索引堆中对应的话单索引文件，对话单文件进行排重，生成新的话单索引文件；将内存索引堆中的新话单索引文件保存到对应的磁盘。

在上述技术方案中，话单排重方法还可以包括：在生成新的话单索引文件时，还生成排重索引增量文件；在系统出现故障无法将内存索引堆中的新话单索引文件保存到对应的磁盘时，将排重索引增量文件与对应的磁盘中的话单索引文件合并，生成新的话单索引文件。

在上述技术方案中，在生成排重索引增量文件后还可以包括：将内存索引堆中的排重索引增量文件保存到临时目录下，生成事务控制日志，事务控制日志中记录有排重索引增量文件的临时目录和目标目录；将排重索引增量文件由临时目录移动到目标目录，删除事务控制日志。