[发明专利]数据处理方法及装置在审
申请号: | 202310126666.0 | 申请日: | 2023-02-16 |
公开(公告)号: | CN116226680A | 公开(公告)日: | 2023-06-06 |
发明(设计)人: | 姜楠;刘译璟;赵群 | 申请(专利权)人: | 北京百分点科技集团股份有限公司 |
主分类号: | G06F18/22 | 分类号: | G06F18/22;G06N3/0464;G06N3/045 |
代理公司: | 北京国昊天诚知识产权代理有限公司 11315 | 代理人: | 王思超 |
地址: | 100080 北京市海*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 | ||
1.一种数据处理方法,其特征在于,包括:
接收对数据集成中业务数据的分析指令;
响应于所述分析指令,获取所述业务数据的元数据和所述业务数据的数据内容,所述元数据指示所述业务数据的数据属性;
将所述元数据输入到第一模型中进行第一处理,得到第一处理结果,所述第一处理用于计算所述元数据与参考元数据之间的相似度;
将所述数据内容输入到第二模型中进行第二处理,得到第二处理结果,所述第二处理用于计算所述数据内容与参考数据内容之间的相似度;
根据所述第一处理结果和所述第二处理结果确定所述业务数据的第三处理结果。
2.根据权利要求1所述的数据处理方法,其特征在于,在所述根据所述第一处理结果和所述第二处理结果确定所述业务数据的第三处理结果之后,所述方法还包括:
生成所述第三处理结果与所述业务数据所属数据源的映射关系;
在所述数据源被配置的情况下,根据所述映射关系向数据仓库推荐所述数据源中与所述第三处理结果对应的业务数据。
3.根据权利要求1所述的数据处理方法,其特征在于,所述获取所述业务数据的元数据和所述业务数据的数据内容包括:
通过数据源适配器获取所述业务数据的元数据和所述业务数据的数据内容,所述数据源适配器与至少一种业务数据源之间进行连接,所述数据源适配器用于提供访问所述至少一种业务数据源的接口,所述业务数据源用于提供所述业务数据。
4.根据权利要求1-3任意一项所述的数据处理方法,其特征在于,所述将所述数据内容输入到第二模型中进行第二处理,得到第二处理结果包括:
根据所述元数据的类型对所述数据内容进行划分,其中,各种类型的元数据对应的数据内容的数据量相同;
将各种类型的元数据对应的数据内容分别输入到各自对应的第二模型中进行第二处理,得到与各种类型的元数据对应的数据内容的第二处理结果。
5.根据权利要求1所述的数据处理方法,其特征在于,所述根据所述第一处理结果和所述第二处理结果确定所述业务数据的第三处理结果包括:
获取为所述第一处理结果分配的第一权重和所述第二处理结果分配的第二权重,所述第一权重和所述第二权重不同;
分别为所述第一处理结果和所述第二处理结果打分,得到与所述第一处理结果对应的第一分值和所述第二处理结果对应的第二分值;
将所述第一权重和所述第一分值相乘,得到第一乘积,所述第二权重与所述第二分值相乘,得到第二乘积;
将所述第一乘积和所述第二乘积相加,得到所述第三处理结果。
6.一种数据处理装置,其特征在于,包括:
接收模块,用于接收对数据集成中业务数据的分析指令;
获取模块,用于响应于所述分析指令,获取所述业务数据的元数据和所述业务数据的数据内容,所述元数据指示所述业务数据的数据属性;
处理模块,用于将所述元数据输入到第一模型中进行第一处理,得到第一处理结果,所述第一处理用于计算所述元数据与参考元数据之间的相似度;
所述处理模块,还用于将所述数据内容输入到第二模型中进行第二处理,得到第二处理结果,所述第二处理用于计算所述数据内容与参考数据内容之间的相似度;
确定模块,用于根据所述第一处理结果和所述第二处理结果确定所述业务数据的第三处理结果。
7.根据权利要求6所述的数据处理装置,其特征在于,所述获取模块,还用于通过数据源适配器获取所述业务数据的元数据和所述业务数据的数据内容,所述数据源适配器与至少一种业务数据源之间进行连接,所述数据源适配器用于提供访问所述至少一种业务数据源的接口,所述业务数据源用于提供所述业务数据。
8.根据权利要求6或7所述的数据处理装置,其特征在于,所述处理模块,还用于根据所述元数据的类型对所述数据内容进行划分,其中,各种类型的元数据对应的数据内容的数据量相同;将各种类型的元数据对应的数据内容分别输入到各自对应的第二模型中进行第二处理,得到与各种类型的元数据对应的数据内容的第二处理结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百分点科技集团股份有限公司,未经北京百分点科技集团股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310126666.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:磁吸液瓶架
- 下一篇:一种隐身式钢质水密门