[发明专利]天气数据获取方法及装置、计算机装置及可读存储介质

说明书

一种天气数据获取方法，所述方法包括：从网页中抓取天气数据；解析所述天气数据中的缺失值；利用ElasticNet算法进行回归拟合，填补所述缺失值；利用Moving‑zscore算法检测所述天气数据中的异常值，剔除所述异常值；利用ElasticNet算法进行回归拟合，填补剔除的所述异常值。本发明还提供一种天气数据获取装置、计算机装置及可读存储介质。本发明可以获得高可靠性、高准确率的天气数据。

技术领域

本发明涉及数据处理技术领域，具体涉及一种天气数据获取方法及装置、计算机装置和计算机可读存储介质。

背景技术

天气数据在我们的日常生活中起着越来越重要的作用。例如，对于沿海地区和从事海上作业的人们来说，可以通过天气预报了解未来是否有台风或暴雨，减少不必要的损失。如何获得可靠的天气数据成为了一个巨大的挑战。

传统的天气数据抓取仅仅是从网络上获取天气数据，缺少对天气数据的具体内容进行判定和处理的过程，因而获得的数据并不理想。

发明内容

鉴于以上内容，有必要提出一种天气数据获取方法及装置、计算机装置和计算机可读存储介质，其可以获得高可靠性、高准确率的天气数据。

本申请的第一方面提供一种天气数据获取方法，所述方法包括：

通过网络爬虫从网页中抓取天气数据，包括：生成面向天气信息网站的API接口的种子URL以及后续的URL；向所述天气信息网站的API接口发送HTTP请求，请求访问所述API接口；对所述天气信息网站提供的数据内容进行分析和识别，以查看所述数据内容；判断所述数据内容是否为预定信息内容；若所述数据内容为预定信息内容，则抓取所述数据内容；将抓取的数据内容作为所述天气数据保存到本地；

解析所述天气数据中的缺失值；

利用ElasticNet算法进行回归拟合，填补所述缺失值；

利用Moving-zscore算法检测所述天气数据中的异常值，剔除所述异常值；

利用ElasticNet算法进行回归拟合，填补剔除的所述异常值；

假设t+1时刻的数据x_t+1发生缺失，所述利用ElasticNet算法进行回归拟合，填补所述缺失值包括：

选取t+1时刻之前的24个时刻t-i，i＝0，1，2，...，23，选取时间窗大小w，对于所述24个时刻中的每一个时刻t-i，得到一组数据集[x_t-i-w，x_t-i-w+1，...，x_t-i-1]，即得到24组数据集：

[x_t-w，x_t-w+1，...，x_t-1]，

[x_t-w-1，x_t-w，...，x_t-2]，

[x_t-w-2，x_t-w-1，...，x_t-3]，

…

[x_t-w-23，x_t-w-22，...，x_t-24]；

以所述24组数据集作为训练数据，对训练数据进行划分，每一组最后一个数组成集合y，每一组最后一个数以外的其他数组成集合x，集合x为：

[[x_t-w，x_t-w+1，...，x_t-2]，

[x_t-w-1，x_t-w，...，x_t-3]，