[发明专利]一种图形化数据流建模和处理系统及方法

说明书

本发明涉及一种图形化数据流建模和处理系统及方法，包括：图形化界面，其中设置有多种图形化的数据处理的数据流模型、组件及组件的参数配置信息；服务集群，连接到图形化界面和数据库，根据图形化界面中建立的包括多种组件的数据流模型，按照数据流模型运行其中的组件，实现该数据流模型对数据的处理和存储；数据库，其存储有多个所述组件、所述数据流模型以及所述组件的参数配置信息，本发明为使用人员提供一整套数据流建模方案，使用者可通过图形化界面，根据所需数据行为选择组件，合理组合创建数据流模型完成某个数据行为，降低了开发人员开发难度，提高了研发效率，降低了维护周期和成本，并且针对多种数据通用，适合推广使用。

技术领域

本发明涉及一种图形化数据流建模和处理系统及方法，属于数据处理技术领域。

背景技术

云计算、物联网、移动互连、社交媒体等新兴信息技术和应用模式的快速发展,促使全球数据量急剧增加，推动人类社会迈入大数据时代。大数据呈现出多种鲜明特征:1在数据量方面,当前,全球所拥有的数据总量已经远远超过历史上的任何时期,更为重要的是,数据量的增加速度呈现出指数增长趋势,并且每个应用所处理的数据量也大幅增加；2在数据速率方面,数据的产生、传播的速度更快,在不同时空中流转,呈现出鲜明的流式特征,更为重要的是,数据价值的有效时间急剧减少,也要求越来越高的数据处理和使用能力；3在数据复杂性方面,数据种类繁多,数据在编码方式、存储格式、应用特征等多个方面也存在多层次、多方面的差异性，结构化、半结构化、非结构化数据并存,并且半结构化、非结构化数据所占的比例不断增加；4在数据价值方面,数据规模增大到一定程度之后,隐含于数据中的知识的价值也随之增大,并将更多地推动社会的发展和科技的进步。此外，大数据往往还呈现出个性化、不完备化、价值稀疏、交叉复用等特征。

流式大数据在实时性、无序性、无限性、易失性、突发性等方面均呈现出了诸多新的鲜明特征。传统的先存储后处理的批量数据处理理念不适用于大数据流式处理的环境中,使得大数据流式环境中的数据处理在系统的可伸缩性、系统容错、状态一致性、负载均衡、数据吞吐量等方均面临着前所未有的挑战。

大数据蕴含大信息,大信息提炼大知识,大知识将在更高的层面、更广的视角、更大的范围帮助用户提高洞察力、提升决策力,将为人类社会创造前所未有的重大价值.但与此同时,这些总量极大的价值往往隐藏在大数据中,表现出了价值密度极低、分布极其不规律、信息隐藏程度极深、发现有用价值极其困难的鲜明特征。这些特征必然为大数据的处理环节带来前所未有的挑战，并要求大数据处理系统具备高性能、实时性、分布式、易用性、可扩展性等特征。

现有的数据流技术，第一种是使用高级语言开发出完整的一套程序，包括数据采集、数据分析处理、数据存储。整个系统被部署到服务器或客户机器上运行，完成一些定制型数据行为。这种技术需要收集客户需求，由开发人员开发定制程序或者通用程序，再由实施人员部署到目标机器上，然后运行系统，由运维人员进行维护。第二种是由开发人员开发出多个模块，每个模块都对不同数据类型进行自动识别，对于不同数据类型的均有不同的处理程序。而模块之间的连接由配置文件决定。这种凡是需要实施人员进行配置文件的配置，模块的数据处理仍然比较局限，无法适应数据变化的真实环境。现有数据流方法的主要缺点有：

1.在处理新型数据时，由于一般数据流不具有较强通用型，无法对数据进行准确分析、分类、处理，达到客户想要的目标数据行为。

2.以配置文件的方式调整数据流向会给实施人员带来不小的麻烦，尤其是在不了解新型数据的情况下，第一时间无法维护。

3.在出现不同的数据之后，需要客户反馈数据类型及其详细信息，由数据分析人员对数据进行分析，再由开发人员开发出相关的处理程序，最后由实施人员更新维护。这样使得整个开发周期过于漫长，并且这段时间造成数据无法得到利用，甚至造成数据丢失。

4.当系统运行时，无法得知整个数据流每个环节的状态，可能出现某一环节在流动数据时出现拥挤，导致系统的整体速度变得迟缓，那时将无法适应大数据企业的需求。