[发明专利]一种人口精细化治理方法

说明书

本发明涉及人口数据管理技术领域，具体地说，涉及一种人口精细化治理方法。包括：以数据仓库作为技术基础，将当地人口数据源中的各类人口数据源ETL到数据仓库中；按照实际业务需求将人口数据分类存储；根据要考察的数值和分析的角度，提炼业务数据、指定维度，形成事实表和维度表的分析数据模型；研究人口数据统计分析的基本方法，并采用多维分析OLAP技术，按照多维度制作成展现分析报表。本发明设计可以防止数据失真，可以提供作业全链路的流量以及数据量运行时监控；DataX可以为用户提供多种脏数据处理模式；可以在拓展数据应用价值，在大型公共安全事件的防控管理方面不断提供大数据支撑。

技术领域

本发明涉及人口数据管理技术领域，具体地说，涉及一种人口精细化治理方法。

背景技术

根据多个地区网格化工作统一部署和综治网格化信息平台建设要求，为全面准确掌握张店区人口数量、房屋底数，区内专职网格员全力开展网格基础信息入户采集工作。但目前采集到的数据仍与实际数据有所差距，需要结合其他数据源进行修复，如基于大型公共安全事件的防控管理大数据等。而且并没有与公共安全管理等部门数据以及健康检测数据、人员交通出行数据等动态数据深度融合，没有发挥大数据优势，数据的价值没有得到充分利用。鉴于此，我们提出了一种人口精细化治理方法。

发明内容

本发明的目的在于提供一种人口精细化治理方法，以解决上述背景技术中提出的问题。

为实现上述技术问题的解决，本发明的目的之一在于，提供了一种人口精细化治理方法，包括如下步骤：

S1、基于多维数据融合技术，以数据仓库作为技术基础，将当地人口数据源中的各类人口数据源ETL到数据仓库中；

S2、按照实际业务需求将人口数据分类存储；

S3、根据要考察的数值和分析的角度，提炼业务数据、指定维度，形成事实表和维度表的分析数据模型；

S4、研究人口数据统计分析的基本方法，并采用多维分析OLAP(On-LineAnalytical Processing，即联机分析处理)技术，按照多维度制作成展现分析报表，最终建成一个供决策参考、分析研究的人口数据分析系统。

作为本技术方案的进一步改进，所述S1中结合分布式易扩展的可视化工作流任务调度平台DolphinScheduler模块与异构数据源离线同步工具DataX核心模块，采用DolphinScheduler+DataX的技术构建离线增量数据同步平台来对接人口健康检测数据；由于三方公司只能开放数据视图或者提供离线数据文件，所以无法通过变更数据捕获(CDC)来实现实时同步，而且每次调度增量数据并没有太大，不需要分布式架构来负载；其中，DataX核心模块的作业流程包括：

首先，DataX完成单个数据同步的作业被称之为Job，DataX接收到一个Job之后，将启动一个进程来完成整个作业同步过程；其中，DataX Job模块是单个作业的中枢管理节点，承担了数据清理、子任务切分(将单一作业计算转化为多个子Task)、TaskGroup管理等功能；

其次，DataX Job启动后，会根据不同的源端切分策略，将Job切分成多个小的子任务Task，以便于并发执行；Task便是DataX作业的最小单元，每一个Task都会负责一部分数据的同步工作；

再次，切分多个子任务Task之后，DataX Job会调用DolphinScheduler模块，根据配置的并发数据量，将拆分成的多个Task重新组合，组装成任务组TaskGroup；每一个TaskGroup负责以一定的并发运行完毕分配好的所有Task，默认单个任务组的并发数量为5；

然后，每一个Task都由TaskGroup负责启动，Task启动后，会固定启动Reader—Channel—Writer的线程来完成任务同步工作；