[发明专利]一种数据读取方法及系统

说明书

技术领域

本发明涉及通信领域，尤其涉及一种数据读取方法及系统。

背景技术

随着大数据时代的到来，在各领域会产生大量的数据，例如，通信运营商的信令日志数据、日志文件的数据、分布式数据库集群产生的数据等，因此，需要对大量的数据进行实时的数据统计分析。

由于数据的产生大多是跨网元的，而各个网元产生的数据通常是不统一的，比如，信令系统的用户基站切换数据、通话信令通常是以国际移动用户识别码(IMSI，International Mobile Subscriber Identification Number)为基础进行分类记录；B域数据即业务域数据，例如，话单、客户资料、账单等数据是以电话号码为基础进行分类记录；数据网络的数据是以网络互连协议(IP，Internet Protocol)地址为基础进行分类记录，因此，在对数据进行统计分析时，需要将各个客户端产生的数据进行读取。

现有的数据读取方法包括：采用关系型数据库，例如，Oracle、DB2、MYSQL等，通过将来自各客户端的数据分别输入到对应的数据库表中，利用数据库读取操作的SQL语句对各个客户端的数据进行读取。

然而，由于SQL语句的执行过程是单次读取数据库，随着数据量的增长，采用现有的数据读取方法会降低数据读取的效率、无法满足数据读取的实时性。

发明内容

为解决上述技术问题，本发明实施例期望提供一种数据读取方法及系统，能够提高数据读取的效率，满足数据读取的实时性。

本发明的技术方案是这样实现的：

第一方面，本发明实施例提供一种数据读取方法，方法包括：

利用分布式数据传输通道采集至少一个客户端存储的数据；

将数据存储到分布式文件管理单元，分布式文件管理单元基于分布式数据库集群；

在接收到读取指令时，读取分布式文件管理单元中存储的与读取指令对应的第一数据。

进一步的，分布式数据传输通道包括至少一个数据传输链路，利用分布式数据传输通道采集至少一个客户端存储的数据，具体包括：

根据预设规则在分布式数据传输通道中确定至少一个第一数据传输链路；

利用至少一个第一数据传输链路采集对应的客户端存储的数据，第一数据传输链路与客户端一一对应。

进一步的，分布式数据库集群包括N个数据库节点，将数据存储到分布式文件管理单元中，具体包括：

根据分布式数据库集群的数据库节点个数N将数据进行分片处理，获得N个分片数据和与分片数据一一对应的N个数据标识；

根据N个数据标识将N个分片数据存储到对应的N个数据库节点，N个数据标识与N个数据库节点一一对应。

进一步的，在接收到读取指令时，读取分布式文件管理单元中存储的与读取指令对应的第一数据，具体包括：

在接收到读取指令时，对读取指令进行解析获得N个数据标识；

根据N个数据标识分别从N个数据库节点中读取N个分片数据；

根据N个数据标识将N个分片数据进行合并处理，获得第一数据。

进一步的，分布式文件管理单元包括Hadoop分布式文件管理单元HDFS，分布式数据库集群包括Redis集群。

第二方面，本发明实施例提供一种数据读取系统，包括：分布式采集装置、分布式文件管理单元和数据读取装置，其中：

分布式采集装置，用于利用分布式数据传输通道采集至少一个客户端存储的数据；

分布式文件管理单元，用于存储分布式采集装置采集的数据，分布式文件管理单元基于分布式数据库集群；

数据读取装置，用于在接收到读取指令时，读取分布式文件管理单元中存储的与读取指令对应的第一数据。

进一步的，分布式采集装置，具体用于：

根据预设规则在分布式数据传输通道中确定至少一个第一数据传输链路；利用至少一个第一数据传输链路采集对应的客户端存储的数据，第一数据传输链路与客户端一一对应。

进一步的，分布式数据库集群包括N个数据库节点，分布式文件管理单元，具体用于：

根据分布式数据库集群的数据库节点个数N将数据进行分片处理，获得N个分片数据和与分片数据一一对应的N个数据标识；根据N个数据标识将N个分片数据存储到对应的N个数据库节点，N个数据标识与N个数据库节点一一对应。

进一步的，数据读取装置具体用于：