[发明专利]一种数据采集方法、设备及介质在审
申请号: | 201911346604.0 | 申请日: | 2019-12-24 |
公开(公告)号: | CN111191052A | 公开(公告)日: | 2020-05-22 |
发明(设计)人: | 石忠民;林剑周;钟力 | 申请(专利权)人: | 广州索答信息科技有限公司 |
主分类号: | G06F16/41 | 分类号: | G06F16/41;G06F16/45 |
代理公司: | 广州市越秀区哲力专利商标事务所(普通合伙) 44288 | 代理人: | 王忠浩 |
地址: | 510000 广东省广州市高新技术*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 采集 方法 设备 介质 | ||
1.一种数据采集方法,其特征在于,包括以下步骤:
目标字段分组,根据预设业务逻辑对若干需要的目标字段进行分组,得到若干含有不同目标字段的原子化字段组;
数据采集,预设服务端采集例程采集目标平台上的目标数据,所述目标数据中含有若干文本数据;
组织数据,根据所述原子化字段组中的目标字段组织每个所述目标数据中的所述文本数据,得到若干原子化字段组数据,每个原子化字段组数据含有至少一所述文本数据;
提供API,预设服务端采集例程根据若干所述原子化字段组提供若干原子化字段组API,每个所述原子化字段组API与唯一的所述原子化字段组数据对应;
数据获取,预设客户端采集例程通过访问所述原子化字段组API获取对应的所述原子化字段组数据。
2.如权利要求1所述的一种数据采集方法,其特征在于:所述数据采集还包括:预设服务端采集例程采集目标平台上的目标数据对应的目标ID,每个所述目标数据对应一个所述目标ID。
3.如权利要求2所述的一种数据采集方法,其特征在于:在所述数据获取之前还包括数据缓存,根据所述目标ID将对应的所述原子化字段组数据分类缓存在预设数据库中。
4.如权利要求3所述的一种数据采集方法,其特征在于:所述数据缓存具体为根据所述原子化字段组的预设属性设置缓存时间,单个所述缓存时间、单个所述原子化字段组、单个所述原子化字段组数据相互关联,根据所述缓存时间、所述目标ID将对应的所述原子化字段组数据缓存在预设数据库中。
5.如权利要求1所述的一种数据采集方法,其特征在于:所述组织数据具体为:根据所述原子化字段组中目标字段将每个所述目标数据中的文本数据分类为若干不同的原子化字段组数据,每个所述原子化字段组数据包含至少一所述文本数据。
6.如权利要求1所述的一种数据采集方法,其特征在于:所述目标平台包括网页终端和APP终端。
7.一种电子设备,其特征在于包括:处理器;
存储器;以及程序,其中所述程序被存储在所述存储器中,并且被配置成由处理器执行,所述程序包括用于执行权利要求1-6任意一项所述的方法。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行如权利要求1-6任意一项所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广州索答信息科技有限公司,未经广州索答信息科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911346604.0/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置