[发明专利]一种智能化气象要素查询平台

权利要求书

1.一种智能化气象要素查询平台，包括系统架构、业务产品库、数据库、业务产品加工及查询模块、基础数据产品绘图模块，其特征在于：所述系统架构以springboot2.x+vue3.0为主，结合Python3为辅组成，通过Java技术实现后台数据处理、质控、筛选及提供接口服务，Vue实现客户端数据展示、调用、下载的功能，Python技术主要实现图形化产品制作模块；所述业务产品库采用kudu库和MySQL数据库结合的方式实现，kudu库主要存储历史所有要素数据，实现数据的快速提取、批量导出；MySQL主要存储降水、气温、灾害性天气产品数据；所述业务产品库在架构层次上分为：数据采集层、数据存储层、数据分析计算层和数据服务层，所述数据采集层负责从各个数据来源中汇聚数据，平台支持flume、sqoop、streamsets采集，数据流转主要使用xxljob平台，后期将数据采集整体迁移到streamsets中；所述数据存储层平台支持HDFS、HBASE、KUDU三种存储方式，支持海量数据的分布式存储；所述数据分析计算层提供基于内存计算的MPP计算引擎IMPALA、SPARK计算算法和FLINK流计算；所述数据服务层依托于配置管理后台来实现数据对外服务，后期将数据服务模块集成到CDH平台中，实现对数据的统一规划发布；

所述数据库采用MySQL数据库作为所有表结构的储存载体，存储降水、气温、灾害性天气产品数据；

所述业务产品加工及查询模块基于业务产品库数据针对温度、降水、降雪、风速、风向、气压、相对湿度的气象要素基础数据，做数据加工处理；

所述基础数据产品绘图模块采用反距离加权插值(IDW)，根据给定的控制点对和控制点的位移矢量(方向和距离)，实现图像每一个像素点的位移，反距离加权插值的方法是通过得到每一个像素点和选定控制点对的逼近关系，以及相对应的权重关系，求得像素点相对应的变化关系，逼近函数可以理解为对像素点p的影响程度，而权重函数则可以看成是对距离的权重，距离越远，权重越小，

该函数f(p)传入一个像素点的坐标，通过已选定的控制点实现计算插值。f函数返回像素点坐标，fi函数为逼近函数，即

f_i(p)＝q_i+T_i(p-p_i)；

这里T的求解我未进行方程组的计算求解，T是一个2*2矩阵，T可以取近似值1。将控制点数据代入可以求出每一个局部插值函数，而wi权重函数，理解为对距离越远，权重越小，

这里d(p，pi)为p和pi的距离，指数μ可以取0的数，这里测试取2最优，通过公式求取权重函数，求和体现多组控制点共同产生影响。

2.根据权利要求1所述的一种智能化气象要素查询平台，其特征在于：所述数据采集层分为平台内部数据和外部汇聚数据两个模块，外部汇聚数据模块采用xxljob系统对外部数据采集汇聚到HDFS中。

3.根据权利要求2所述的一种智能化气象要素查询平台，其特征在于：所述外部汇聚数据模块数据分为结构化数据和非结构化数据，结构化数据由HDFS底层存储支持txt、parquet文件存储，介于结构化数据需要做增量数据同步，通过txt在线追加的方式对数据进行增量采集同步，同时针对大表做表分区；非结构化数据针对文件性数据，提供了如下两种解决方案：

(1)借助xxljob的定时调度功能，实现定时文件合并操作，将小文件通过MR程序合并成大文件，文件大小通过JSON参数控制；

(2)借助ES(Elasticsearch)高速查询命中效率，结合Hbase的批量存储方案，对文件进行转码存储等操作，达到对小文件的存储及使用。

4.根据权利要求2所述的一种智能化气象要素查询平台，其特征在于：所述平台内部数据模块对数据仓库在分层以后的内部流转数据进行处理，目前数仓设计分为两层，ODS缓存层和DW数据集成层，ODS换层次保留源数据上的一切特性，DW数据层采取KUDU+IMPALA的存储方式进行设计，将ODS层的数据列及值都就行了数据细化、拆分、转换。