[发明专利]一种按需聚类的大数据流式聚类处理系统及方法有效
申请号: | 201310255931.1 | 申请日: | 2013-06-19 |
公开(公告)号: | CN103353883B | 公开(公告)日: | 2017-02-22 |
发明(设计)人: | 赵淦森;虞海;王维栋;卓超 | 申请(专利权)人: | 华南师范大学 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 广州嘉权专利商标事务所有限公司44205 | 代理人: | 谭英强 |
地址: | 510631 *** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种按需聚类的大数据流式聚类处理系统,该系统包括有快速计算模块、数据概念漂移检测模块和聚类模块,所述快速计算模块的输出端通过数据概念漂移检测模块连接至聚类模块的第一输入端,所述聚类模块连接至快速计算模块。本发明针对大数据的大量、相似以及重复的特性,基于数据概念漂移检测的按需聚类模型使用触发型的聚类处理模式,保障精确度,提供按需聚类、实时性聚类结果服务;其次,其提供资源监控模块和独立的模块用于聚类处理,有效利用已有的传统聚类算法,且能增强系统的扩展性和敏感度,高效解决大数据环境下数据流的快速处理的问题。本发明作为一种按需聚类的大数据流式聚类处理系统可广泛应用于数据处理领域。 | ||
搜索关键词: | 一种 按需聚类 数据流 式聚类 处理 系统 方法 | ||
【主权项】:
一种按需聚类的大数据流式聚类处理系统,其特征在于:该系统包括有快速计算模块、数据概念漂移检测模块和聚类模块,所述快速计算模块的输出端通过数据概念漂移检测模块连接至聚类模块的第一输入端,所述聚类模块连接至快速计算模块;该系统还包括有资源监控模块,所述资源监控模块的第一输出端连接至快速计算模块的输入端,所述资源监控模块的第二输出端连接至聚类模块的第二输入端;所述快速计算模块包括有数据过滤策略模块、数据过滤执行模块、数据摘要模块和聚类结果实时服务模块,所述资源监控模块的第一输出端依次通过数据过滤策略模块、数据过滤执行模块、数据摘要模块连接至数据概念漂移检测模块的输入端,所述聚类结果实时服务模块连接至聚类模块;所述数据概念漂移检测模块包括有数据概念漂移定义模块,所述数据概念漂移定义模块分别连接有数据概念漂移计算模块和数据概念漂移识别模块,所述数据摘要模块的输出端依次通过数据概念漂移计算模块、数据概念漂移识别模块连接至聚类模块的第一输入端。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华南师范大学,未经华南师范大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201310255931.1/,转载请声明来源钻瓜专利网。