[发明专利]一种计算机大数据存储系统

说明书

本发明涉及计算机数据管理领域，具体涉及一种计算机大数据存储系统,包括：数据特征提取模块，基于Transformer模型实现目标特征数据的提取；数据预分类模块，用于根据所述目标特征数据基于预设的分类规则实现数据的预分类，预分类结果包含正常数据组和异常数据组；数据储存模块，用于根据数据预分类的结果将正常数据组和异常数据组分别储存到对应的安全储存模块内；数据整理模块，用于根据所述正常数据组的目标特征数据在对应的安全储存模块中为其找到相似数据点，并建立其与相似数据点之间的关系。本发明实现了数据的自动分类，筛选整理，大大提高了数据的处理效果，同时保证了数据的安全性。

技术领域

本发明涉及计算机数据管理领域，具体涉及一种计算机大数据存储系统。

背景技术

近年来，互联网的发展越来越迅速，使用互联网的人也越来越普及，人们在使用互联网进行日常的活动的时候，例如网购，查看节目，信息，商品都会产生大量的数据。如何对获取的数据进行自动分类，筛选整理，并保证数据的安全性成为大数据存储中亟待解决的技术问题。

发明内容

为解决上述问题，本发明提供了一种计算机大数据存储系统，实现了数据的自动分类，筛选整理，大大提高了数据的处理效果，同时保证了数据的安全性。

为实现上述目的，本发明采取的技术方案为：

一种计算机大数据存储系统,包括：

数据特征提取模块，基于Transformer模型实现目标特征数据的提取；

数据预分类模块，用于根据所述目标特征数据基于预设的分类规则实现数据的预分类，预分类结果包含正常数据组和异常数据组；

数据储存模块，用于根据数据预分类的结果将正常数据组和异常数据组分别储存到对应的安全储存模块内；

数据整理模块，用于根据所述正常数据组的目标特征数据在对应的安全储存模块中为其找到相似数据点，并建立其与相似数据点之间的关系。

进一步地，每一组分类规则对应一BP神经网络模型，通过Hadoop同时运行所有BP神经网络模型实现数据的预分类。

进一步地，异常数据组单独配置一安全储存模块，用户进入该模块后，即可实现异常数据的查看审核，每一条异常数据均携带有其被剔除的原因，用户可以根据查看审核情况进行异常数据的清除或恢复或转存操作。

进一步地，通过用户生物特征的识别结果控制所述安全储存模块内载数据的访问权限，访问时，安全储存模块根据用户生物特征的识别结果释放对应权限内的数据，未在访问权限内的数据处于锁定隐藏状态。

进一步地，还包括：

访问记录登记模块，用于通过脚本录制的方式实现每一次的访问记录全过程的登记。

进一步地，还包括：

访问通道搭建模块，用于根据用户的账户信息搭建不同的访问通道，访问通道搭建后，用户方可进入生物特征数据识别模块完成生物特征数据的识别，生物特征数据的识别结果经加密模块加密后反馈至安全储存模块。

进一步地，所述数据整理模块基于预设的AGGCN模型实现数据点关系的构建。

本发明具有以下有益效果：

每一组分类规则对应一BP神经网络模型，通过Hadoop同时运行所有BP神经网络模型实现数据的预分类，从而实现了数据的自动分类和筛选，大大提高了数据处理的效率。

基于刻面技术来实现数据定位，并基于预设的AGGCN模型实现数据点关系的构建，在可以实现数据的自动整理的同时，可以将纷繁多样的海量农业数据转换成具有信息和商业价值的可用数据。