[发明专利]火电厂海量实时生成数据的处理方法及装置在审
| 申请号： | 201910984802.3 | 申请日： | 2019-10-16 |
| 公开（公告）号： | CN110765154A | 公开（公告）日： | 2020-02-07 |
| 发明（设计）人： | 白帆;蒋蓬勃;李友志;王继强;苏涛;卢意;苏京彬;宋峰 | 申请（专利权）人： | 华电莱州发电有限公司;华电国际电力股份有限公司技术服务分公司 |
| 主分类号： | G06F16/242 | 分类号： | G06F16/242;G06F16/2458 |
| 代理公司： | 37297 济南宝宸专利代理事务所(普通合伙) | 代理人： | 荆向勇 |
| 地址： | 261441 山东*** | 国省代码： | 山东;37 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明属于电厂运行数据处理领域，尤其涉及一种火电厂海量实时生成数据的处理方法及装置。在基于键值数据模型火电厂生产过程中产生的海量时间序列数据进行建模和存储的基础上，将时间序列数据按照时间维度进行切片存放至HBase中，同时融入了Spark SQL执行过程对海量时间序列数据进行查询。Spark SQL是spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。它通过将数据查询转换成Spark RDD，然后提交到集群执行，具有极高的数据查询效率。 | ||
| 搜索关键词： | 时间序列数据 火电厂 数据查询效率 数据处理领域 处理结构 生产过程 时间维度 实时生成 数据查询 数据模型 切片 集群 建模 编程 引擎 存储 电厂 抽象 查询 融入 转换 | ||
【主权项】：
1.一种火电厂海量实时生成数据的处理方法，其特征在于：包括存储步骤：/n步骤S1：获取传感器采集到的原始时间序列数据，一条原始时间序列数据记录至少包括属性值为：设备编号、传感器编号、采样时间、接收时间和测量值；/n步骤S2:根据采样时间，将采用时间相同、时间间隔较小的多个时间序列数据聚合为数据切片，划分至相(对)应的时间分区；/n步骤S3：将上述原始时间序列数据的多条属性值与时间分区信息进行组合，生成目标时序数据，该目标时序数据至少包括以下属性值：时间分区、设备编号、传感器编号、采样时间和传感器采集到的测量值；/n步骤S4：以设备编号、传感器编号和时间分区信息作为一级索引，以采样时间作为二级索引，将目标时序数据存入HBase数据库中。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于华电莱州发电有限公司;华电国际电力股份有限公司技术服务分公司，未经华电莱州发电有限公司;华电国际电力股份有限公司技术服务分公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910984802.3/，转载请声明来源钻瓜专利网。
- 上一篇：一种基于车辆报废查询预警系统及方法
- 下一篇：一种移动端警用车辆查询布控系统
