[发明专利]基于DAG变换的大数据处理方法在审
申请号: | 202011390365.1 | 申请日: | 2020-12-02 |
公开(公告)号: | CN112417226A | 公开(公告)日: | 2021-02-26 |
发明(设计)人: | 马成 | 申请(专利权)人: | 江苏赛融科技股份有限公司 |
主分类号: | G06F16/901 | 分类号: | G06F16/901;G06F16/904;G06F9/451 |
代理公司: | 北京同辉知识产权代理事务所(普通合伙) 11357 | 代理人: | 廖娜 |
地址: | 210000 江苏省南京市浦口区浦滨*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明涉及一种基于DAG变换的大数据处理方法,其从实际的业务数据处理场景出发,构建AOV网并将AOV网从图形结构变换为边集数组的图存储结构,通过捕捉各顶点计算处理前后的状态信息通过单链表的指针指向关系,拼接所有链表结点的算子为一个spark或是flink的可执行表达式。由此,基于可视图形化的方式将复杂的数据处理场景AOV网化。适用于多种业务领域,在进行数据处理时可以轻松实现抽象到具体的转换。支持变换所有复杂DAG图结构为线性单链表结构,全覆盖标准AOV网特性的数据处理场景。拥有丰富类型并可扩展的数据处理节点库,可满足图形化界面组件在AOV网的应用。 | ||
搜索关键词: | 基于 dag 变换 数据处理 方法 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于江苏赛融科技股份有限公司,未经江苏赛融科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202011390365.1/,转载请声明来源钻瓜专利网。