[发明专利]一种基于云计算和深度学习的大数据分析方法

说明书

本发明涉及大数据分析技术领域。本发明涉及一种基于云计算和深度学习的大数据分析方法。其包括如下步骤：S1、利用数据采集技术对不同渠道的数据进行采集，并对数据进行预处理；S2、通过云计算技术，将S1中的数据存入云端储存平台，进行数据集中化管理和分布式存储。本发明根据数据类型和使用需求，通过原始数据建立深度学习模型，并根据实际应用的数据对深度学习模型进行训练，在虚拟训练之后投入实际的使用中，并且同步进行测试，在该深度学习模型使用的过程中，根据实际应用的准确性和稳定性判断是否对深度学习模型进行更新，并且将用户反馈的数据传输至深度学习模型的建立步骤中，使新建立的用户反馈模型运行更稳定和准确。

技术领域

本发明涉及大数据分析技术领域，具体地说，涉及一种基于云计算和深度学习的大数据分析方法。

背景技术

随着互联网的发展，对大数据的利用越发重要，各个互联网平台都需要对海量的用户信息和商品信息进行处理，目前一般采用云计算和AI学习的方式对数据进行处理和分析，基于云计算和深度学习的大数据分析的原理是，利用云计算技术提供的大规模计算和存储能力，将海量的数据进行分析和处理，借助深度学习算法对数据进行学习和建模，从而实现对数据的深度挖掘和分析，而这种方法在建模之后还会出现在实际应用中出现稳定性和准确性下降的情况，此时需要更新模型，而更新模型和上线模型都较为复杂和麻烦，在更新的过程中会浪费较多时间，所以需要一个可根据使用情况进行更新的大数据分析方法，因此，提出一种基于云计算和深度学习的大数据分析方法。

发明内容

本发明的目的在于提供一种基于云计算和深度学习的大数据分析方法，以解决上述背景技术中提出的问题。

为实现上述目的，提供了一种基于云计算和深度学习的大数据分析方法，包括如下步骤：

S1、利用数据采集技术对不同渠道的数据进行采集，并对数据进行预处理；

S2、通过云计算技术，将S1中的数据存入云端储存平台，进行数据集中化管理和分布式存储；

S3、基于深度学习算法开发深度学习模型，导入S2中的数据对模型进行训练，模型自动学习数据的特征和规律，并对深度学习模型进行评估和调整；

S4、将S3中训练好的深度学习模型部署到远端计算平台，对海量的数据进行实时分析和处理，对模型进行监视和维护，并将用户反馈、时间日志和性能报告数据反馈到S3。

作为本技术方案的进一步改进，所述S1对数据进行预处理的步骤如下：

S1.1、判断S1采集的数据中的缺陷；

S1.2、根据S1.1的判断结果对数据进行处理；

S1.3、对S1.2处理后的数据进行数据归一化处理。

作为本技术方案的进一步改进，所述S2中对数据进行集中化管理的步骤如下：

S2.1、根据数据类型和存储要求选择合适的云储存服务；

S2.2、根据数据类型创建储存桶、设置访问权限，完成储存空间和访问权限的配置；

S2.3、所述S2.2完成储存空间和访问权限的配置之后，将大数据上传到云端储存平台。

作为本技术方案的进一步改进，所述S2中对数据进行分布式储存的步骤如下：

S2.4、将数据进行分段，并将不同的数据段储存在不同的物理位置；

S2.5、对存储的数据进行定期备份。

作为本技术方案的进一步改进，所述S3中基于深度学习算法开发深度学习模型的步骤如下：

S3.1、对原始数据进行步骤S1.1、S1.2和S1.3的处理，并将数据划分为不同的数据集；

S3.2、根据步骤S1.3处理后的数据类型选择神经网络结构和超参数，并将其编程为深度学习模型。

作为本技术方案的进一步改进，所述S3中对深度学习模型进行评估和调整的步骤如下：