[发明专利]一种基于大数据挖掘的洪涝灾害评估方法

说明书

本发明提供了一种基于大数据挖掘的洪涝灾害评估方法，属于洪涝灾害风险评估技术领域。本发明通过网络爬虫等获取大量本发明数据；通过词频‑逆文本频率进行分词处理；通过共词分析，集中词汇对或名词短语的共现情况，来反映关键词之间的关联强度，进而确定这些词反映洪涝发生的等级、时间以及地点；本发明通过文本对应各个主题的概率，进而得知文本中各个词对应各个主题的概率，且知道这个词在文本中的出现次数，求得这个词被各个主题的产生次数；通过文本聚类，筛选出每个地域，单个主题落在地域中，表示该地区某时间发生某种主题等级的洪涝灾害概率较大，为后面做好防汛工作做好准备。

技术领域

本发明属于洪涝灾害风险评估技术领域，尤其涉及一种基于大数据挖掘的洪涝灾害评估方法。

背景技术

数据挖掘是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘是一种决策支持过程，它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，高度自动化地分析企业的数据，作出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，作出正确的决策。洪涝灾害风险指某一地区在某一时间内洪涝发生的可能性、活动程度、破坏损失及其对经济、社会和自然环境系统造成的影响和危害有多大。

现有评估技术主要有基于遥感技术对洪涝灾害进行监测和评估，采用历史灾情数据进行洪涝灾害风险评估，基于水文动力学模型进行情景模拟。其中，基于遥感技术对分类精度以及数据匹配度要求较高；历史灾情法由于其历史资料的可得性与详略程度，使其具有一定局限性；基于水文动力学模型的情景模拟法因缺乏潜在地表及社会经济因素，不能提供洪涝灾害的综合风险评估。

发明内容

针对现有技术中的上述不足，本发明提供的一种基于大数据挖掘的洪涝灾害评估方法，通过挖掘的方法，利用自然语言处理揭示各地各年发生的洪涝等级与频率，为研究洪涝发生规律、预测未来洪涝灾害发生情况提供参考依据。

为了达到以上目的，本发明采用的技术方案为：

本方案提供一种基于大数据挖掘的洪涝灾害评估方法，包括以下步骤：

S1、获取洪涝灾害数据，并对所述洪涝灾害数据进行分词处理；

S2、根据分词处理结果，对洪涝等级进行划分；

S3、利用词频统计方法统计洪涝等级划分结果中的高频词汇及其TF值，并根据统计结果构建特征词列表；

S4、对所述特征词列表进行共词分析；

S5、利用隐含狄利克雷分布模型构建洪涝主题模型，并通过所述洪涝主题模型建立洪涝主题，并通过洪涝灾害文本对应每个洪涝主题的概率得到文本中每个词对应每个洪涝主题的概率以及每个洪涝主题产生的次数；

S6、根据文本中每个词对应每个洪涝主题的概率以及每个洪涝主题产生的次数，利用共词分析结果得到每个地域发生洪涝等级的概率，完成基于大数据挖掘的洪涝灾害评估。

进一步地，所述步骤S4包括以下步骤：

S401、对所述特征词列表中的词汇对以及名词短语共同出现的次数进行统计，确定分析数据集；

S402、利用洪涝等级划分结果确定洪涝等级的关键词；

S403、根据所述特征词列表构建二维矩阵；

S404、遍历所有特征词列表，构建全部特征词之间的组合，并判断所述组合是否在同一篇文本中出现，若是，则存入二维矩阵对应的位置，并构建共词矩阵，并进入步骤S405，否则，重复步骤S404；

S405、根据所述分析数据集、洪涝等级的关键词以及共词矩阵，完成对特征词列表的共词分析。

再进一步地，所述步骤S5中洪涝主题中词分布的表达式如下：