[发明专利]一种基于云计算的大规模图数据处理及分析技术

说明书

 一、           技术领域

本发明属于计算机应用技术领域，是一种基于云计算的大规模图数据处理及分析技术。主要包括：服务申请系统、数据提交系统、图数据库管理系统、图数据离线计算平台、图数据可视化系统以及图数据计算结果展示系统。本发明适用于通过云计算服务平台向互联网用户提供大规模图数据计算服务的应用场景。

二、           背景技术

随着信息技术的发展以及互联网的普及，数据呈爆炸式增长，尤其是近年来社交网络的快速发展使得图数据急剧增长。云计算技术的提出与发展为大规模数据的处理开辟了新的路径。云计算平台能够向用户提供强大的计算服务，用户仅通过Web浏览器便可进行计算服务申请，然后上传数据，最终由平台反馈数据处理结果。目前尚未有专门为大规模图数据提供计算服务的云平台，无法满足一些某些大规模图数据拥有者对图计算能力的需求。

三、           发明内容

（一）本申请提案要解决的技术问题

一种基于云计算的大规模图数据处理及分析技术，主要特征包括：服务申请系统、数据提交系统、图数据库管理系统、图数据离线计算平台、图数据可视化系统以及图数据计算结果展示系统。通过该技术，用户可以轻松获得强大的图数据计算服务，并根据服务申请类型获得相应的结果展示。

（二）简要说明欲保护的关键点及对应的技术效果

关键点1，数据传输协议。用户提交数据后，系统自动对数据进行加密传输。由于图数据一般较大，因此会对数据进行分割，分别提交。每部分传输结束后都会在服务器端进行校验，以保证传输的可靠性。本发明提供两种传输方式：一是通过Web浏览器进行提交，该方式无需下载客户端，方便简单，但传输速度较慢，适用于数据量小的图数据；二是通过数据传输客户端提交数据，该方式需要安装专门的数据传输客户端，数据传输较为快捷，适用于大图数据的传输。当数据处理完毕时，用户可以通过下载或者在线浏览的方式查看结果，数据传输过程同样经过加密传输。

技术效果：数据传输协议能够保证大规模图数据处理结果在服务器和客户端之间高速、安全的传输。

关键点2，图数据格式化方法。由于图数据一般以某些结构化方式或是文本方式存储在用户本地文件系统中，在图数据上传之前，系统提供数据格式化方法，具体有两种方式：一是用户指定XML格式的元数据文件，该文件以结构化方式规定图的顶点和边的值及其它属性值等；二是向用户开放MapReduce计算服务接口，用户通过上传自定义MapReduce方法在服务器端将图数据进行格式化。

技术效果：图数据格式化方法能够保证用户提交的图数据能够在离线计算系统、图数据管理系统、图数据可视化系统中正确地计算、存储和展现。

关键点3，图数据可视化服务。本发明提供图数据可视化服务，用户可通过服务申请系统指定可视化服务。具体实现方法是利用图数据管理系统的在线查询支持，得到用户查询的顶点、边以及它们的属性值，通过可视化插件在web浏览器向用户展示查询结果。用户通过查询语言可以获取任意部分的图数据信息，并通过可视化功能对数据执行简单的在线分析等功能。

技术效果：图数据可视化服务能够向用户提供更为丰富的计算结果展现方式，并提供简单的在线计算，以进行二次分析。

关键点4，图数据库与计算平台的交互方法。图数据库主要负责支撑图数据可视化服务，而图数据计算平台则负责数据的高效、准确的离线计算。两者既可以向用户提供不同的服务，又可以进行交互：计算平台可以利用图数据库存储缓存中间计算结果；图数据库可以存储部分计算平台的计算结果，向用户提供更加强大的可视化服务。

技术效果：图数据库与计算平台的交互方法能够保证大规模图数据的高效处理以及图数据可视化服务的丰富展现。

（三）总的技术效果

本发明具有以下的优点和特点：

1）本发明提出了一种基于云计算的大规模图数据处理及分析技术，主要包括：服务申请系统、数据提交系统、图数据库管理系统、图数据离线计算平台、图数据可视化系统以及图数据计算结果展示系统。通过该平台，用户可以轻松获得强大的图数据计算服务，并根据服务申请类型获得相应的结果展示。

2）本发明提供的云计算服务的多样性能够让用户选择更加适合自己的图数据计算服务。

四、           附图说明

附图1是“基于云计算的大规模图数据处理及分析技术”架构示意图。

附图2是图数据处理流程图。

附图3是图数据离线计算方法示意图。