[发明专利]用于提供算力支持的数据处理方法及装置在审
申请号: | 201810878491.8 | 申请日: | 2018-08-03 |
公开(公告)号: | CN110795229A | 公开(公告)日: | 2020-02-14 |
发明(设计)人: | 钟强 | 申请(专利权)人: | 上海小渔数据科技有限公司 |
主分类号: | G06F9/50 | 分类号: | G06F9/50 |
代理公司: | 11541 北京卓唐知识产权代理有限公司 | 代理人: | 唐海力;李志刚 |
地址: | 201203 上海市浦东*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 算法 脚本 基础逻辑 数据处理 数据维度 算法提供 并行计算 用户设定 申请 输出 分配 优化 | ||
1.一种用于提供算力支持的数据处理方法,其特征在于,包括:
获取基础逻辑算法对应的算法脚本;
获取用户设定的所述算法脚本对应的输入数据;
基于所述算法脚本以及所述输入数据生成计算实例;
判断所述输入数据的数据维度与所述算法脚本输出的数据维度是否相同;
若是,则对所述计算实例进行并行计算。
2.根据权利要求1所述的用于提供算力支持的数据处理方法,其特征在于,当所述计算实例为多个时,还包括:
确定出每个计算实例对应的基础逻辑算法之间的依赖关系;
根据所述依赖关系生成基础算法逻辑链;
根据所述基础算法逻辑链依次计算所述计算实例。
3.根据权利要求1所述的用于提供算力支持的数据处理方法,其特征在于,在所述基于所述算法脚本以及所述输入数据生成计算实例之后,还包括:
判断所述计算实例是否存在计算缓存;
若是,则对所述计算缓存进行合法性检测,判断所述计算缓存是否为合法缓存;
若是,则用所述计算缓存的计算实例替换所述计算实例。
4.根据权利要求1所述的用于提供算力支持的数据处理方法,其特征在于,所述基于所述算法脚本以及所述输入数据生成计算实例,包括:
对所述输入数据进行合法性的检测;
将所述输入数据赋值到所述输入数据对应的算法脚本;以及
根据所述算法脚本创建计算实例。
5.根据权利要求1所述的用于提供算力支持的数据处理方法,其特征在于,还包括:
检测计算实例的算法脚本是否具有并行计算要求;
若是,则对所述计算实例进行并行计算。
6.根据权利要求1所述的用于提供算力支持的数据处理方法,其特征在于,还包括:
获取运行计算实例产生的输出数据;
将所述输出数据缓存。
7.一种用于提供算力支持的数据处理装置,其特征在于,包括:
算法脚本获取模块,其配置为,获取基础逻辑算法对应的算法脚本;
输入数据获取模块,其配置为,获取用户设定的所述算法脚本对应的输入数据;
计算实例生成模块,其配置为,基于所述算法脚本以及所述输入数据生成计算实例;
判断模块,其配置为,判断所述输入数据的数据维度与所述算法脚本输出的数据维度是否相同;
第一计算模块,其配置为,对所述计算实例进行并行计算。
8.根据权利要求7所述的用于提供算力支持的数据处理装置,其特征在于,还包括:
依赖关系确定模块,其配置为,当计算实例为多个时,确定出每个计算实例对应的基础逻辑算法之间的依赖关系;
算法逻辑链生成模块,其配置为,根据所述依赖关系生成基础算法逻辑链;
第二计算模块,其配置为,根据所述基础算法逻辑链依次计算所述计算实例。
9.根据权利要求7所述的用于提供算力支持的数据处理装置,其特征在于,还包括:
计算缓存获取模块,其配置为,判断当前计算实例是否存在计算缓存;
计算缓存检测模块,其配置为,若当前计算实例存在计算缓存时,对所述计算缓存进行合法性检测,判断所述计算缓存是否为合法缓存;
计算实例替换模块,其配置为,若所述计算缓存为合法缓存时,用所述计算缓存的计算实例替换所述当前计算实例。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序在计算机处理器中执行时实现如权利要求1至6任意一项所述方法中的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海小渔数据科技有限公司,未经上海小渔数据科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810878491.8/1.html,转载请声明来源钻瓜专利网。