[发明专利]支付数据处理分类的可视化系统及方法

说明书

支付数据处理分类的可视化系统，包括数据收集模块、用户模块，所述的数据收集模块依次通过数据同步模块、数据存储模块、数据寄存模块、数据清理模块、数据分类模块、可视化建模模块，最后与结果展现模块连接，其中数据清理模块为判断模块；用户模块通过图形定义模块与可视化建模模块连接。本发明能将所有离散的数据汇总成有价值的报告，能帮助第三方支付公司更好的分析数据，能对支付数据处理分类并实现了支付数据的可视化，推广应用具有良好的经济效益和社会效益。

技术领域

本发明属于支付数据技术领域，特别涉及一种支付数据处理分类的可视化系统及方法。

背景技术

网络时代，第三方支付已成为运用最广泛的付款手段。我国第三方联网支付平台在近几年蓬勃发展，无论是对于消费者还是整个经济社会都带来了深远的影响，针对客户资金安全和信息安全的问题，第三方平台在扮演中介、桥梁的角色，而支付数据是第三方支付公司最重要的核心资产。

目前，我们身处于大数据时代，大规模、高纬度、非结构化数据层出不穷，交易数据呈几何级增加，随之而来的是系统的不堪重负，数据部门的压力可以说是常人难以想象的。

如何将所有离散的数据汇总成有价值的报告，如何帮助第三方支付公司更好的分析数据，如何对支付数据处理分类并以可视化形式完美的展示，成为急需解决的问题。

发明内容

本发明的目的是要解决上述技术问题。

支付数据处理分类的可视化系统，包括数据收集模块、用户模块，其特征在于：所述的数据收集模块依次通过数据同步模块、数据存储模块、数据寄存模块、数据清理模块、数据分类模块、可视化建模模块，最后与结果展现模块连接，其中数据清理模块为判断模块；用户模块通过图形定义模块与可视化建模模块连接。

支付数据处理分类的可视化方法，其特征在于：包括以下操作步骤：

A)、数据收集模块进行支付数据采集，支付数据包括实时数据和离线数据；

B)、数据收集模块将采集的支付数据通过数据同步模块上传至数据存储模块；

C)、数据寄存模块从数据存储模块读取支付数据并多次复制后，发送一份至数据清理模块；

D)、数据清理模块对支付数据进行清理，支付数据可能存在自身的不一致性，或者有缺失数据的存在，通过数据清理模块对数据做简单的泛化处理，对数据进行清洗和充实，并判断数据的可靠性；

E)、当数据清理模块判断数据可靠，将清理的数据发送至数据分类模块；

F)、数据分类模块根据预设的定量和变量对支付数据进行分类，并发送至可视化建模模块；

G)、可视化建模模块构建可视化模型；

H)、图形定义模块根据用户模块的用户选择，选取相应的展现图形；

I)、展现图形与可视化模型的支付数据进行匹配；

J)、结果展现模块将支付数据进行可视化的结构展现；

K)、当数据清理模块判断数据不可靠，数据寄存模块将复制的支付数据重新发送多份至数据清理模块进行校核，重复以上步骤D)；

L)、当数据校核多次判断数据不可靠性，放弃支付数据；

M)、当数据校核多次判断数据可靠，重复以上步骤E)～J)。

所述的步骤B)中，数据同步模块采用Sqoop工具或flume工具中的任意一种。

所述的步骤B)中，数据存储模块采用Hadoop分布式文件系统和Alluxio分布式文件系统，其中Alluxio分布式文件系统采用spark，Hadoop分布式文件系统采用MapReduce或SQL中的任意一种。