[发明专利]一种基于分布式内存的信令数据处理方法及系统

说明书

本发明提供了一种基于分布式内存的信令数据处理方法及系统，所述方法包括：S1、数据采集；S2、数据预处理；S3、数据存储：将经过预处理的原始信令数据转化为对应的格式分别存入磁盘和内存中；其中，等待存入内存中的信令数据被先处理成由数据块构建成的数据集后，再存入内存中；S4、分布式数据处理：读取内存中存储的数据集，对数据集进行分布式处理；S5、转存：将键值对形式的数据集实时地保存在磁盘存储的键值数据库中。本发明提供的一种基于分布式内存的信令数据处理方法及系统，既可以减少内存的使用又能提高容错率，大大提高了系统的处理速度，同时当磁盘内数据处理完成后就丢弃内存中的数据保证了空间的开销和处理的实时性。

技术领域

本发明涉及网络通信领域，具体涉及一种基于分布式内存的信令数据处理方法及系统。

背景技术

随着数据业务需求的猛增，我们获取的数据正在以指数的形式增长。虽然信令分析系统可以全面的记录网络信令情况，但是由于数据量巨大，现有的信令分析系统的分析时间较长，应用效果不是很理想。

发明内容

有鉴于此，有必要针对现有技术中存在的问题，提供一种基于分布式内存的信令数据处理方法及系统，其能够有效地提高数据的处理速度，保证数据的实时性。

为实现上述目的，本发明采用以下技术方案：

一种移动通信网络的信令数据处理方法，包括以下步骤：

S1、数据采集；

S2、数据预处理；

S3、数据存储：将经过预处理的原始信令数据转化为对应的格式分别存入磁盘和内存中；其中，等待存入内存中的信令数据被先处理成由数据块构建成的数据集后，再存入内存中；

S4、分布式数据处理：读取内存中存储的数据集，对数据集进行分布式处理；具体包括以下步骤：

S401、针对数据集中的每一个数据块，删除其中冗余的运算信息，只记录下不同数据块之间的依赖关系信息；

S402、将S401中处理后得到的新的数据集转化成键值对形式的数据集；

S5、转存：将键值对形式的数据集实时地保存在磁盘存储的键值数据库中。

进一步地，所述S1具体包括以下步骤：

S101、通过数据采集端的各个接口实时监控信令数据文件的变化，当发生改变时，对信令数据进行采集；

S102、将数据采集端的信令数据进行缓冲，提供给数据发送端，保证数据采集和发送之间的同步；

S103、数据发送端将采集到的信令数据按照一定的数据格式发送到文件数据库进行储存，以供进行S2时调用。

进一步地，所述S2具体包括以下步骤：

S201、检测并去除异常点；

S202、比例缩放、编码和特征选择。

进一步地，在S3中，将信令数据处理成数据集的方法包括以下步骤：

S301、使用分布式系统将内存中等待存储的数据划分到至少一个分布式节点上，并且使得每个分布式节点都对应着一个索引，将所有的索引数据存储到一个包含索引信息的分布式节点中；

S302、通过查找分布式节点的索引，快速的读取内存中存储的信令数据，进而把信令数据按照一定规律切分成一批一批的批数据，按照先进先出的规则，把这些批数据分别封装为数据块，接着对每个数据块进行归并处理，用数据块构建成数据集，处理结束后将数据集存放入内存中。

进一步地，在S4中，对数据块进行处理时，根据数据集中数据块的数量，提供相应数量的处理节点进行处理。