[发明专利]一种可配置化定时采集数据、调度数据、加密传输、可视化的方法在审
申请号: | 202111375229.X | 申请日: | 2021-11-19 |
公开(公告)号: | CN114064777A | 公开(公告)日: | 2022-02-18 |
发明(设计)人: | 闫安;赵梦怡 | 申请(专利权)人: | 杭州雷数科技有限公司 |
主分类号: | G06F16/25 | 分类号: | G06F16/25;G06F16/28;G06F16/2455;G06F16/215;G06F16/21 |
代理公司: | 杭州兴知捷专利代理事务所(特殊普通合伙) 33338 | 代理人: | 王雪 |
地址: | 311100 浙江省杭州市余杭区*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 配置 定时 采集 数据 调度 加密 传输 可视化 方法 | ||
本发明公开了一种可配置化定时采集数据、调度数据、加密传输、可视化的方法,包括:核心数据采集引擎采集数据,清洗数据,将数据落入目标数据源;可视化指挥中心读取经过核心数据采集引擎沉淀的数据源,根据数据进行智能建模、智能分析,生成智能报表;核心调度引擎同样也会读取经过核心数据采集引擎沉淀的数据源,规则引擎,对已经配置的规则进行解析,生成调度任务,最后再下发给每一个采集端/用户端,此过程通过MySql进行二次数据沉淀、Redis实现热点数据高性能缓存、InfluxDB进行时序数据存储。本发明适用于多场景下的资源调配优化,构建了完善强大的可视化指挥中心,对资源预期、调整、效率等,提供了强大的基石与力量。
技术领域:
本发明属于数据传输、数据调度领域,更具体地说,涉及一种可配置化定时采集数据、调度数据、加密传输、可视化的方法。
背景技术:
在大数据背景下,数据作为最重要的组成部分,指导着企业的生产和经营,如何运用和分析数据已经成为了不可或缺的一部分,而对于数据安全、数据共享、数据应用和数据分析在大数据的背景下是一个至关重要的一个环节。
然而,传统的软件行业中,数据一般存储在多种异构型的第三方数据服务中,只满足自身应用使用。这就产生了以下劣势:由于数据服务内部闭塞,形成数据孤岛,导致数据无法共享和分析;由于异构型的数据服务的多样性,导致不同数据服务在对接中出现数据类型和数据规则不匹配问题;在实际生产中,我们需要对这里面的数据进行抽取、转化和加载操作,形成数据集市、业务库和数据仓库,提供数据分析和使用,而原有的数据服务模式则不支持这一操作。
与此同时,多行业多业务场景下,总是会出现资源竞争的情况。例如:共享仓储、共享用工、协同运输、打车等等。当资源有限的情况下,如何及时获取多目标终端数据,统一进行采集、分析、调度。这即是本发明要解决的核心问题。
综上所述,如何让不同类型的异构化数据服务共享在同一个类型的数据服务平台中,并且打通数据内部关系以提供数据共享、应用和分析,用于企业的管理、调度、生产指导等,已经成为目前本领域技术人员亟待解决的问题。
发明内容:
本发明为了解决上述现有技术中存在的缺陷和不足,提供了一种可配置化定时采集数据、调度数据、加密传输、可视化的方法,其能够通过配置实现大批量的定时任务采集数据、间隔性的提取数据源的数据并清洗到目标源中,并且根据配置规则进行间隔性调度与下发任务。
为了实现上述目的,本申请提供如下技术方案:
一种可配置化定时采集数据、调度数据、加密传输、可视化的方法,应用于多种类型异构型数据源和异构型目标源数据的传输、采集,针对采集数据进行清洗、解析、建模、分析从而生成调度任务,对资源进行调配优化,包括:
核心数据采集引擎采集数据,清洗数据,将数据落入目标数据源;
可视化指挥中心读取经过核心数据采集引擎沉淀的数据源,根据数据进行智能建模、智能分析,生成智能报表;
核心调度引擎同样也会读取经过核心数据采集引擎沉淀的数据源,规则引擎,对已经配置的规则进行解析,生成调度任务,最后再下发给每一个采集端/用户端,此过程通过MySql进行二次数据沉淀、Redis实现热点数据高性能缓存、InfluxDB进行时序数据存储。
优选地,对当前多异质设备进行数据采集,包括:
针对多异质设备数据进行采集,基于不同的系统,甚至不同的编程语言,采用统一的方式采集上报数据;插件式采集实现;
采集后,核心采集引擎会根据清洗规则对采集数据进行入库;
且上报频率、上报内容、清洗规则可配置化,一切基于配置文件驱动;为复杂的业务场景与需求提供了拓展性与灵活性。
优选地,多内容、多规则可配置化,包括:
通过统一的配置中心,对维护多种类、多方式的配置文件,而且统一由配置中心进行加密,
应用端统一访问配置中心,从配置中心拉取并解密配置。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州雷数科技有限公司,未经杭州雷数科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111375229.X/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置