[发明专利]一种基于深度学习的数据治理方法及系统在审
申请号: | 202210905239.8 | 申请日: | 2022-07-29 |
公开(公告)号: | CN116010373A | 公开(公告)日: | 2023-04-25 |
发明(设计)人: | 马汉杰;俞健;吴鹏飞 | 申请(专利权)人: | 杭州码全数字孪生科技研究院有限公司 |
主分类号: | G06F16/21 | 分类号: | G06F16/21;G06F16/27;G06F16/25;G06N20/00 |
代理公司: | 北京中济纬天专利代理有限公司 11429 | 代理人: | 陈月红 |
地址: | 311000 浙江省杭州市余杭*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 深度 学习 数据 治理 方法 系统 | ||
1.一种基于深度学习的数据治理系统,其特征在于,
所述基于深度学习的数据治理系统包括数据库、治理层和区域链平台,所述数据库用于输入治理数据,所述治理层与所述数据库网络连接,用于采集所述数据库中的治理数据,并通过深度学习后的预测模型提取目标数据,所述区域链平台通过智能合约与所述治理层数据交互,将目标数据整理于已审核的治理数据中,并回写至所述数据库中。
2.如权利要求1所述的一种基于深度学习的数据治理系统,其特征在于,
所述治理层包括采集模块、模型库、规范模块和判断模块,所述采集模块与所述数据库网络连接,用于采集所述数据库中的治理数据,所述规范模块与所述采集模块网络连接,用于规范化采集的治理数据,所述模型库用于存储深度学习后的预测模型,所述判断模块通过预测模型提取治理数据中的目标数据,并将目标数据通过网络传输至所述区域链平台。
3.如权利要求2所述的一种基于深度学习的数据治理系统,其特征在于,
所述采集模块通过物联网采集、网络爬虫和ETL工具,使用其中一种或多种采集方式从所述数据库采集治理数据。
4.一种采用如权利要求3所述的基于深度学习的数据治理系统的数据治理方法,其特征在于,包括如下步骤:
采集治理数据,对治理数据进行预处理;
根据预处理后的治理数据建立训练模型;
判断训练模型并生成预测模型;
通过预测模型提取治理数据中的目标数据,并将目标传输至所述区域链平台。
5.如权利要求4所述的一种基于深度学习的数据治理方法,其特征在于,在采集治理数据,对治理数据进行预处理的步骤中;
通过L-BFGS和共轭梯度算法对数据求解神经网络代价函数,使用PCA算法对数据进行降维,最后对数据进行白化,降低输入的冗余性。
6.如权利要求5所述的一种基于深度学习的数据治理方法,其特征在于,在判断训练模型并生成预测模型的步骤中:
根据多个训练模型对治理数据的作出判定,得到多个判定结果,提取频次最高的判断结果,作为输出结果,将输出结果对应的训练模型进行集成,获得预测模型,并存储至所述模型库中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州码全数字孪生科技研究院有限公司,未经杭州码全数字孪生科技研究院有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210905239.8/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置