[发明专利]数据分析服务流程模型推荐方法有效
申请号: | 201811510295.1 | 申请日: | 2018-12-11 |
公开(公告)号: | CN109783633B | 公开(公告)日: | 2023-03-24 |
发明(设计)人: | 王伟;曹健 | 申请(专利权)人: | 江阴逐日信息科技有限公司 |
主分类号: | G06F16/335 | 分类号: | G06F16/335;G06F16/35;G06F40/216;G06F40/289;G06F40/30;G06F18/22;G06F18/2411 |
代理公司: | 上海正策律师事务所 31271 | 代理人: | 吴磊 |
地址: | 214400 江苏省无锡市江阴市滨江西路2号12号*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 分析 服务 流程 模型 推荐 方法 | ||
1.一种数据分析服务流程模型推荐方法,其特征在于,其包括以下步骤:
S1、从OpenML下载数据集、模型及模型运行信息,其中数据集中用于模型推荐的信息有数据集的数据信息和数据集的文本描述信息;
S2、对数据集进行预处理;
S3、提取预处理后的数据集的数据特征;
S4、基于预处理后的数据集的文本描述信息提取数据集文本描述特征;
S5、利用预处理后的数据集的数据特征和文本描述特征构建SVM模型类型分类器,得到模型类型;
S6、利用协同过滤算法计算预处理后的数据集的数据特征和文本描述特征的相似性,根据相似性和模型类型推荐模型;
在步骤S6中,利用TF-IDF向量和数据集特征值进行协同过滤,得到数据集集合中与该数据集的相似矩阵,判断其数据集的最佳模型是否属于由SVM所得的模型类型,得到相似性最高的k个数据集的最佳模型。
2.如权利要求1所述的数据分析服务流程模型推荐方法,其特征在于,步骤S2包括:
S21、过滤数据集信息,对于数据集在模型中运行次数少于100次的数据集进行排除;
S22、标注各个数据集上的最佳模型,最佳模型主要有两方面影响因子:数据集在模型中运行得到的准确率accuracy和模型被用户运行次数runTime,根据如下公式进行归一化处理,并得到评分最高的最佳模型scor:
α+β=1
其中,A为准确率,R为单个模型运行次数,R'为数据集上所有模型总运行次数,α和β为归一化因子。
3.如权利要求1所述的数据分析服务流程模型推荐方法,其特征在于,步骤S3包括:对预处理后的数据集进行统计分析以分析出数据集的数据特征,所述数据集的数据特征包括:数据集实例数目、数据集属性数目、数字属性数目、文本属性数目。
4.如权利要求1所述的数据分析服务流程模型推荐方法,其特征在于,步骤S4包括:
S41、对于文本信息进行分词,英文按照空格分词,中文使用分词工具来进行分词;
S42、将分词后的文本数据转换为TF-IDF特征向量或NLP特征向量。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于江阴逐日信息科技有限公司,未经江阴逐日信息科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811510295.1/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置