[发明专利]一种基于分布式内存的信令数据处理方法及系统

权利要求书

1.一种移动通信网络的信令数据处理方法，其特征在于，包括以下步骤：

S1、数据采集；

S2、数据预处理；

S3、数据存储：将经过预处理的原始信令数据转化为对应的格式分别存入磁盘和内存中；其中，等待存入内存中的信令数据被先处理成由数据块构建成的数据集后，再存入内存中；

S4、分布式数据处理：读取内存中存储的数据集，对数据集进行分布式处理；具体包括以下步骤：

S401、针对数据集中的每一个数据块，删除其中冗余的运算信息，只记录下不同数据块之间的依赖关系信息；

S402、将S401中处理后得到的新的数据集转化成键值对形式的数据集；

S5、转存：将键值对形式的数据集实时地保存在磁盘存储的键值数据库中；

在S3中，将信令数据处理成数据集的方法包括以下步骤：

S301、使用分布式系统将内存中等待存储的数据划分到至少一个分布式节点上，并且使得每个分布式节点都对应着一个索引，将所有的索引数据存储到一个包含索引信息的分布式节点中；

S302、通过查找分布式节点的索引，快速的读取内存中存储的信令数据，进而把信令数据按照一定规律切分成一批一批的批数据，按照先进先出的规则，把这些批数据分别封装为数据块，接着对每个数据块进行归并处理，用数据块构建成数据集，处理结束后将数据集存放入内存中。

2.根据权利要求1所述的信令数据处理方法，其特征在于，所述S1具体包括以下步骤：

S101、通过数据采集端的各个接口实时监控信令数据文件的变化，当发生改变时，对信令数据进行采集；

S102、将数据采集端的信令数据进行缓冲，提供给数据发送端，保证数据采集和发送之间的同步；

S103、数据发送端将采集到的信令数据按照一定的数据格式发送到文件数据库进行储存，以供进行S2时调用。

3.根据权利要求1所述的信令数据处理方法，其特征在于，所述S2具体包括以下步骤：

S201、检测并去除异常点；

S202、比例缩放、编码和特征选择。

4.根据权利要求1所述的信令数据处理方法，其特征在于，在S4中，对数据块进行处理时，根据数据集中数据块的数量，提供相应数量的处理节点进行处理。

5.一种移动通信网络的信令数据处理系统，其特征在于，包括：

数据采集模块，用于对信令数据进行采集、缓存，并发送到数据预处理模块；

数据预处理模块，用于检测并去除信令数据的异常点，并对信令数据进行比例缩放、编码和特征选择；

分布式数据处理模块，用于将经数据预处理模块处理后，等待存入内存的信令数据处理成由数据块构建成的数据集；还用于读取内存中存储的数据集，对数据集进行分布式处理，并将处理后的数据集存入磁盘；

内存，用于实时数据；

磁盘，用于存储历史数据；

在分布式数据处理模块中，将信令数据处理成数据集的方法包括以下步骤：

S301、使用分布式系统将内存中等待存储的数据划分到至少一个分布式节点上，并且使得每个分布式节点都对应着一个索引，将所有的索引数据存储到一个包含索引信息的分布式节点中；

S302、通过查找分布式节点的索引，快速的读取内存中存储的信令数据，进而把信令数据按照一定规律切分成一批一批的批数据，按照先进先出的规则，把这些批数据分别封装为数据块，接着对每个数据块进行归并处理，用数据块构建成数据集，处理结束后将数据集存放入内存中。

6.根据权利要求5所述的信令数据处理系统，其特征在于，在分布式数据处理模块中，对数据块进行处理时，根据数据集中数据块的数量，提供相应数量的处理节点进行处理。

7.根据权利要求5所述的信令数据处理系统，其特征在于，还包括查询模块，用于查询磁盘中的数据。