[发明专利]基于大数据的经济形势指数分析方法、系统及计算机可读介质

说明书

本发明公开了基于大数据的经济形势指数分析方法、系统及计算机可读介质，包括：采集与经济形势相关的互联网原始数据；根据原始数据构建搜索引擎库；从搜索引擎库中检索所需的文本数据；对文本数据依次进行数据预处理和数据清洗；对数据清洗后的文本数据进行特征筛选，提取其特征值确定计算变量，所述计算变量包括文本发布时间、评价情感、浏览量；对特征筛选后的文本数据进行数据挖掘，根据文本发布时间、评价情感、浏览量，赋予该文本数据不同的权重，再挖掘出文本数据中的经济信息，并输入到适当的指数模型中进行计算，输出得到经济形势的指数计算结果。本发明通过建模输出指数计算结果，降低模型预测分析差，提高数据的准确分析程度。

技术领域

本发明涉及数据处理分析技术领域，特别涉及基于大数据的经济形势指数分析方法及系统、及计算机可读介质。

背景技术

随着宏观经济理论的发展，宏观经济预测成为实证分析的一个重要方面，针对我国经济发展中的区域、形势、产业和民生等重要问题，需要构建宏观经济大数据检测预测指标库，建立检测指标和分析指数，发现苗头性、倾向性、潜在性等问题，为宏观经济形势预测预警、区域经济社会现状评估等核心指数支撑。

综合现有的宏观经济预测分析方法和应用，其预测模型主要分为两种类型：基于理论驱动的结构模型和基于数据驱动的时序模型。基于理论驱动的结构模型主要是以宏观经济理论为基础，构建数学分析模型，然后“统计化”，形成经济计量模型，利用数据进行参数估计，并以此分析宏观经济变量之间的数量关系以及对关注变量进行预测。

经济运行规律在短时间内发生变化的可能性较小，但随着时间间隔的增加，偏离原有的经济运行规律的可能性和程度会越来越大。因此，传统宏观经济预测模型方法的有效性在很大程度上依赖于使用数据是否足够“好”。传统宏观经济预测分析过程中使用的统计数据存在滞后性、统计误差、数据获取成本高、样本量较少、颗粒度不够等问题，导致宏观经济模型预测分析存在较大的“偏误”，这也是传统宏观经济预测分析过程中存在的根本性问题。

发明内容

针对现有技术中所存在的不足，本发明的目的在于提供一种基于大数据的经济形势指数分析方法及系统，以解决宏观经济分析过程中使用的统计数据存在滞后性、统计误差、数据获取成本高、样本量较少、颗粒度不够等缺点导致模型预测分析存在较大“偏误”的问题。

为实现上述目的，本发明采用如下的技术方案：

一方面，本发明提供了基于大数据的经济形势指数分析方法，包括以下步骤：

S1：采集与经济形势相关的互联网原始数据；

S2：根据原始数据构建搜索引擎库；

S3：从搜索引擎库中检索所需的文本数据；

S4：对文本数据依次进行数据预处理和数据清洗，所述数据预处理包括对文本数据进行简单清洗、数据集成、数据变换及数据归约并建立数据库；所述数据清洗包括对数据预处理后的文本数据进行去重、去噪、异常值处理及缺失值处理并建立语料库；

S5：对数据清洗后的文本数据进行特征筛选，提取其特征值确定计算变量，所述计算变量包括文本发布时间、评价情感、浏览量；

S6：对特征筛选后的文本数据进行数据挖掘，根据文本发布时间、评价情感、浏览量，赋予该文本数据不同的权重，再挖掘出文本数据中的经济信息，并输入到适当的指数模型中进行计算，输出得到经济形势的指数计算结果。

进一步地，步骤S5之前还有对数据清洗后的文本数据进行探索性分析的步骤，所述探索性分析包括位置探索、分布探索、趋势探索及聚合探索。

进一步地，步骤S6后还包括对指数计算结果进行存储的步骤。

进一步地，所述搜索引擎库为分布式全文搜索引擎。