[发明专利]应用大小流分类的数据选择方法

说明书

应用大小流分类的数据选择方法，属于大数据处理技术领域，技术要点是：云中心服务系统接收查询请求，使用两层分类策略对用户的请求数据流作出非大流排除，再使用Cost‑Sensitive分析方法对排出后的数据流作出代价评估；再使用决策树算法将剩下的大数据流进行树构造，返回有效数据流。效果是：提高了大规模数据环境下的大小数据流分类的准确度与精确度。

本申请为申请号2017105370189、申请日2017-07-04、发明名称“云数据中心系统中应用的大小流分类的医院临床操作数据选择方法”的分案申请。

技术领域

本发明属于智慧医疗与大数据处理技术领域，是一种云数据中心系统中应用的大小流分类的医院临床操作数据选择方法。

背景技术

伴随着大数据的来临和应用的不断增长，大数据带来了巨大的可开发价值，但也必将给全球的网络基础设施带来相应的影响，迫使企业纷纷寻求管理这一爆炸性增长的数据信息，其中随着医学大数据的增长，对监床医学采集的数据进行分类分析处理，成为迫切的需求。众所周知，大数据的采集，存储，处理和分发，有可能堵塞网络。如Hadoop管理每petabye字节的大数据大约需要0.5Gbps的带宽。除了大数据会给数据中心带来网络带宽瓶颈问题之外，还出现了一种新型工作负载大流量。2011年Chen,Yingying等人对yahoo数据中心的流量进行了分析，指出了横跨广域网连接的数据中心内服务器间的通信流量问题，也就是大流问题。大流量是指横跨广域网连接的数据中心内服务器间的通信流量，它不同于通常情况下的大数据工作负载，也就是用户对机器或者机器之间的通信流量。导致大流量出现的主要原因是虚拟化的广泛部署和扩展系统；远程实时迁移；数据复制和备份等的广泛应用。尤其是专门针对基于WAN分布式系统而编写的高端应用。大流量的增长速度是致命的，已经成为困扰医院数据中心发展的问题。软件定义网络允许控制平面和数据平面相分离，可为数据中心提供更好的网络管理。

Hadoop等应用除了带来大流量的增长，还带来了“微突发流”的增长。在TCP协议中引入Incast拓扑模型。Incast是many-to-one的一种通信模式，当一个父服务器向一组节点(服务器集群或存储集群)发起一个请求时，云计算服务器集群中的节点都会同时收到该请求，并且几乎同时做出响应，很多节点同时向一台机器(父服务器)发送TCP数据流，从而产生了一个“微突发流”。这种情况主要发生在云数据中心，尤其是那些以向外扩展的方式实现的分布式存储和计算应用(如Hadoop,Map Reduce,HDFS等)。针对数据中心应用出现的新挑战，人们开始由关注体系结构硬件上的优化到关注软件协议上的改进，2010年MohammadAlizadeh等人提出了一种改进的TCP协议DCTCP，针对Data Center利用显式拥塞通知ExplicitCongestionNotification对TCP进行改进。

目前有关数据中心流量的研究多侧重于网络体系结构层次的网络流量研究，从网络硬件上考虑负载平衡问题。而从跨越广域网连接的云数据中心角度来考虑大流小流分类的研究不多。很多学者对大小流分类展开了研究，这些方法具有较快的分类速度，但精确度普遍不高。而机器学习方法如NaiveBayes、k-means、C4.5decisiontree、SVM和KNN都是基于数据流的统计特征，精确性有所提高但实时性不高，难以适应数据中心对流快速分类和及时调度的需求。另一方面，在数据中心中80％的数据流都为小流，大部分小于10KB，而只占总流数量10％的大流却承载了数据中心中大部分流量。例如全局为大型医院的数据中心，病人的各项资料通过数据流的方式保存在医院数据库中，其中大流为病人的各项信息如病情以及治疗情况包括医学图像，小流为系统同步的控制流，医生或病人可以通过查询得到相对应的大数据流，但分布式云数据中心的云计算、大数据会引起的大流特性，即云数据中心系统会增加返还给查询者不需要的大数据流，这消耗了其宝贵的互联网宽带，并且使得数据流量分类不够精确。

发明内容

为了提高了大规模数据环境下的大小数据流分类的准确度与精确度，本发明提出如下技术方案：