[发明专利]一种基于混合存储模式的全息画像系统构建方法

说明书

本发明提供一种基于混合存储模式的全息画像系统构建方法，根据调研分析形成用户属性维度标签、用户行为维度标签、用户消费维度标签、风险控制维度标签，并统一规范标签命名方式；通过日增量数据和日全量数据的表结构设计，将结构化数据、半结构化数据、非结构化数据形成逻辑统一的数据存储架构，并将存储标签数据；完成统计类标签、规则类标签、挖掘类标签、流式计算标签的开发，并设计标签权重算法，设定标签的初始权重；实现标签视图查询、标签编辑管理、自定义配置查询、多维透视分析、目标人群圈定功能；采用可视化技术实现全息画像信息的个性化展示。本发明能够有效实现全息画像检索高效、画像信息准确全面。

技术领域

本发明涉及大数据处理和数据挖掘技术领域的一种基于混合存储模式的全息画像系统构建方法，用于公共安全领域。

背景技术

在商业分析应用领域，伴随着大数据应用，个性化技术成为了一个重要落地点。相比传统的线下会员管理、问卷调查、购物篮分析，大数据第一次使得企业能够通过互联网便利地获取用户更为广泛的反馈信息，为进一步精准、快速地分析用户行为习惯、消费习惯等重要商业信息，提供了足够的数据基础。伴随着对人的了解逐步深入，一个概念悄然而生：用户画像(UserProfile)，完美地抽象出一个用户的信息全貌，可以看作企业应用大数据的根基。

在公共安全领域，在全球信息化快速发展的大背景下，数据正在爆发式的增长，大数据已经成为国家重要的基础性战略资源、提升社会治理能力的新途径。在公安业务应用中，多源异构海量数据汇聚融合形成统一数据资源池，如果从中挖掘隐含知识，让数据多跑腿，让数据多说话，成为当前智能化应用的一个难点。结合公安现有业务需求，通过“一人一档”、“一车一档”、“一机一档”、“一屋一档”等高效的数据组织、快速的信息查询、清晰的内容展现，达到数据在手，应有尽有的应用体验。例如对人员的基本信息、户籍关系、酒店入住信息、出行信息、居住信息、名下房屋、名下机动车、名下企业、职业技能等进行全息展示，帮助公安机关进行人员画像分析及人案关系挖掘。

公安机关当前针对信息的查询展现更多偏重于主动检索，手动匹配，现有的画像技术是基于Hive的用户画像技术，存在查询响应速度慢、画像信息类别不全面等问题。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于混合存储模式的全息画像系统构建方法，该方法针对结构化数据、半结构化数据和非结构化数据的不同使用需求，提供分级分类的存储方式和查询途径，能够有效实现全息画像检索高效、画像信息准确全面。

本发明的技术方案如下：

一种基于混合存储模式的全息画像系统构建方法，其特征在于包括以下步骤：

(1)根据调研分析形成用户属性维度标签、用户行为维度标签、用户消费维度标签、风险控制维度标签，并统一规范标签命名方式；

(2)通过日增量数据和日全量数据的表结构设计，将结构化数据、半结构化数据、非结构化数据形成逻辑统一的数据存储架构，并将标签数据存储到Hive、MySQL、Hbase，其中Hive存储包含分区插入数据、标签ID-maping的方式进行存储，MySQL存储实现元数据管理、标签量级监控、结果集存储等功能，Hbase存储采用K-V结构的列式存储方式，实现快速写入读出；

(3)完成统计类标签、规则类标签、挖掘类标签、流式计算标签的开发，并设计标签权重算法，设定标签的初始权重；

(4)实现标签视图查询、标签编辑管理、自定义配置查询、多维透视分析、目标人群圈定功能；

(5)采用可视化技术实现全息画像信息的个性化展示。

本发明针对结构化数据、半结构化数据和非结构化数据的不同使用需求，提供分级分类的存储方式和查询途径，能够有效实现全息画像检索高效、画像信息准确全面。

附图说明