[发明专利]一种数据处理方法及其系统

说明书

技术领域

本发明涉及计算机及互联网技术领域，尤其涉及一种数据处理方法及其系统。

背景技术

UGC（User Generation Content，也有称User Created Content，用户原创内容）是一种用户使用互联网的新方式，即由原来的以下载为主变成下载和上传并重。社区网络、视频分享和博客等都是UGC的主要应用形式。随着智能终端的多样化，以及互联网业务的不断发展，UGC业务正在日渐崛起，引起了业界的广泛关注。

由于数据是用户产生的，海量的用户催生出海量的数据，最终带来更大量级的数据读写请求。为了运营需要，数据处理系统设计时，会将用户按照某些维度拆分成足够细的粒度分别部署，如将所有用户拆分成不同单位Unit，让每个服务进程负责一些Unit，系统运营时可按各个服务进程的负载情况随时调整部署。这里的Unit是部署的最小单位，一般为一段大小连续的用户ID，不可再拆分。

但UGC业务中往往存在这样一种数据：几乎所有用户都会去读取，又无法再拆分。所有用户去读取，意味着整个系统的读请求量有多大，这些数据所在的服务进程就需要承受多大的压力；不能再分割，意味着这些数据的粒度已经足够细，无法再拆分部署到多个服务进程。这就是所谓的“单点数据”。

单点带来的问题很明显，在有串包机制时引发的问题更为严重。如图1所示，进程X负责单点数据的处理，它会影响整个系统的服务能力和扩展性：一旦进程X的访问量超过其处理能力，整个系统都将不能正常服务。所谓串包机制也称数据串行处理机制，如图1所示，接口机接收到的外部数据请求中会包含有对多个普通用户数据的处理请求和对特殊用户数据的处理请求，普通用户数据会分布在不同的设备上，特殊用户数据（即单点数据）则集中部署，这些数据处理请求按照如图所示的方式串行处理。

为解决这一问题，目前采取了对进程X进行改造的方式，通过优化存储结构和处理逻辑，加强安全性等手段，提升其服务能力和稳定性，防止成为整个系统的瓶颈。比如，用内存存储替代文件存储，也可以简化处理逻辑，处理上又可减轻一部分压力。

发明人在实现本发明的过程中，发现现有技术至少存在以下问题：

（1）系统设计复杂。针对普通数据（即非单点数据）和特殊数据（即单点数据），实质上存在两种设计，整个系统架构变得复杂。

（2）稳定性差。现有方案虽然一定程度上解决了服务能力问题，但进程X仍然负载着整个系统的请求量，一旦该服务进程出现问题或处理异常，则整个系统都将受影响。

（3）可扩展性差。当请求量持续增大时，系统的处理能力仍有可能受制于特殊服务进程（如图1中进程X）的处理能力。

（4）运维成本高。

由此可见，针对单点处理，目前亟需一种系统结构简单、稳定性高，以及可扩展性强的数据处理机制。

发明内容

本发明实施例提供了一种数据处理方法及其系统，用以解决现有技术中，针对单点处理过程，系统结构设计复杂、稳定性差和可扩展性差的问题。

本发明实施例提供的数据处理方法，包括：

对单点数据进行复制，将所述单点数据的所有数据拷贝中的一份数据作为主数据，其它数据拷贝分别作为从数据，并分别将主数据和从数据分配给对应服务进程；

当接收到对所述单点数据的写操作请求时，将该写操作请求分发给所述单点数据的主数据所在的服务进程进行处理；

当接收到对所述单点数据的读操作请求时，将该读操作请求分发给所述单点数据的主数据或/和从数据所在的服务进程进行处理。

本发明实施例提供的数据处理系统，包括：

单点数据预处理模块，用于对单点数据进行复制，将所述单点数据的所有数据拷贝中的一份数据作为主数据，其它数据拷贝分别作为从数据，并分别将主数据和从数据分配给对应服务进程；

数据请求分发模块，用于当接收到对所述单点数据的写操作请求时，将该写操作请求分发给所述单点数据的主数据所在的服务进程进行处理；以及，当接收到对所述单点数据的读操作请求时，将该读操作请求分发给所述单点数据的主数据或/从数据所在的服务进程进行处理。