[发明专利]一种基于流处理的内涝数据处理系统及其处理方法在审
| 申请号： | 201611026709.4 | 申请日： | 2016-11-22 |
| 公开（公告）号： | CN106504169A | 公开（公告）日： | 2017-03-15 |
| 发明（设计）人： | 史鑫明 | 申请（专利权）人： | 苏州航天系统工程有限公司 |
| 主分类号： | G06Q50/26 | 分类号： | G06Q50/26;G06F17/30 |
| 代理公司： | 上海申新律师事务所31272 | 代理人： | 闵东 |
| 地址： | 215000 江苏省苏州市*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于流处理的内涝数据处理系统，其包括内涝模型计算模块、Flume模块、Kafka模块、SparkStreaming模块和应用系统。采用SparkStreaming流处理框架来提高读取和处理效率，以时间戳间隔将计算结果提交给流处理框架，在流处理框架中进行Shp文件的解析，并对同一个结点的结果，跟上一个时间的结果进行比较，输出每个结点相对上一次结果，水深值不一样的三角网格进行输出。进而满足实际的需求。提高我们的处理和展示的效率。 | ||
| 搜索关键词： | 一种 基于 处理 内涝 数据处理系统 及其 方法 | ||
【主权项】：
一种基于流处理的内涝数据处理系统，其特征在于：包括内涝模型计算模块（1）、Flume模块（2）、Kafka模块（3）、SparkStreaming模块（4）和应用系统（5）；所述内涝模型计算模块（1）将产生大量的内涝预测技术结果数据，然后以Shp格式存储为Shp文件，所述Flume模块（2）通过其Agent收集所述Shp文件，然后汇总到所述Flume模块（2）的collector，所述Flume模块（2）的Sink将日志输送到所述Kafka模块（3）完成数据的生产流程，所述SparkStreaming模块（4）追踪消费这个数据的偏移量或者offset进行消费，所述SparkStreaming模块（4）中编写有解析所述Shp文件的程序，所述程序解析所述Shp文件后返回每次变化的结果，再传输给所述Kafka模块（3），再由所述应用系统（5）和所述Kafka系统（3）建立通信，监听特定的消息队列，获取变化的结果，完成GIS信息的展示。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于苏州航天系统工程有限公司，未经苏州航天系统工程有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201611026709.4/，转载请声明来源钻瓜专利网。
