[发明专利]一种运营系统的分布式数据管理系统和方法

说明书

本发明为一种运营系统的分布式数据管理系统和方法，通过设置中心运营管理系统以及渠道子系统，并且这两者之间采用发布‑订阅的通信连接方式，组成分布式和组件化的整体技术框架，在中心点和拓展点的数据库、缓存和中心点的消息中间件，都支持平滑扩容，从而系统整体具有平滑的扩容能力，并且发布‑订阅的通信连接方式使得数据的同步性更好。

技术领域

本发明涉及数据管理领域，特别是涉及一种运营系统的分布式数据管理系统和方法。

背景技术

随着广电传媒行业的发展，对于广电数据的处理也提出了更高的要求。在广电传媒行业中，业务数据具备统一运营、地区数据个性化、数据颗粒度小等特点；其中统一运营表示外拓外拓地市区县的业务运营由中心运营系统统一运营管理；地区数据个性化表示对于不同的地区，存在特定的运营需求；颗粒度小表示外拓业务的数量多，小至乡镇，甚至社区为单位。上述的业务数据主要包括三部分，分别为通用基础数据、个性化热活数据以及第三方关联热活数据。其中通用基础数据表示在拓展地区业务时通用的非个性化基本数据，该部分数据在运营的过程中变化较小，一般也不会因地区变化而产生转变。个性化热活数据表示根据拓展地区的实际情况，衍生出的个性化数据，每个拓展地区的个性化数据不相同，且每个拓展地区在个性化数据上只使用各自地区的个性化数据，比如地方新闻、旅游资讯、当地政府公告、本地应急广播消息等。个性化热活数据的更新频率较高，通常要求编辑发布后实时生效和展示，是运营人员日常编辑最为频繁的数据类型。第三方关联热活数据表示根据运营业务需求，从具备其他功能的外部系统引入的数据，比如从大数据系统引入计算后的用户画像数据、从搜索系统引入的搜索排行榜等；这类数据的特点是需要定期更新。

基于上述广电行业的业务数据特点以及分类，现有的业务数据管理方式主要分为两类，分别为单独运营部署以及统一运营部署。其中单独运营部署表示对每个拓展地区独立部署一套完整的运营管理系统和服务能力系统，要求业务数据的存储以独享的数据库或者缓存集群的方式实现，对于集群中每一个存储介质中存储的数据一致。在单独运营部署中由于每个地区都部署有各自的系统和存储，因此在数据变更时，尤其是通用基础数据变更时，需要对每个地区都进行更新，提高了人力和物力成本；另一方面众多的设备以及设备的广泛分布，提高了系统部署和维护的成本；最后每个地区的数据相互独立，也提高了运营成本。统一运营部署表示设置中心数据库，通过唯一的统一运营系统实现所有地区的业务数据的管理；要求业务数据的存储以庞大的共用的数据库或缓存集群方式实现，集群中每一个存储介质中存储的数据一致；其中，外拓地区通过授权，直接访问统一运营系统及其数据库和缓存。在统一运营部署中，由于数据高度集中，因此一旦统一运营系统出现问题，会影响所有的拓展地区，另一方面，还对中心数据库的存储能力提出了极高的要求。因此需要一种分布式的业务数据存储方法，既能集中管理所有拓展地区的业务数据，也能缓解中心数据库的存储压力，契合各地区数据个性化特点。

发明内容

本发明的目的是解决现有技术的不足，提供一种运营系统的分布式数据管理系统和方法。

为了解决上述问题，本发明采用如下技术方案：

一种运营系统的分布式数据管理系统，包括中心运营管理系统、渠道子系统以及外部系统；其中外部系统用于获取第三方关联热活数据；外部系统与中心运营管理系统连接；中心运营管理系统与至少一个渠道子系统连接；中心运营管理系统与渠道子系统之间采用发布-订阅的通信连接方式。

进一步的，所述中心运营管理系统包括运营管理平台以及中心数据管理模块，其中运营管理平台与中心数据管理模块通信连接。

进一步的，所述中心数据管理模块包括中心缓存、中心数据库、消息中间件以及CANAL模块；其中消息中间件分别与中心缓存以及CANAL模块连接；CANAL模块与中心数据库连接；中心缓存分别与外部系统以及运营管理平台连接；消息中间件还与渠道子系统连接；中心数据库还与运营管理平台连接。