[发明专利]一种可配置化定时采集数据、调度数据、加密传输、可视化的方法在审

专利信息
申请号: 202111375229.X 申请日: 2021-11-19
公开(公告)号: CN114064777A 公开(公告)日: 2022-02-18
发明(设计)人: 闫安;赵梦怡 申请(专利权)人: 杭州雷数科技有限公司
主分类号: G06F16/25 分类号: G06F16/25;G06F16/28;G06F16/2455;G06F16/215;G06F16/21
代理公司: 杭州兴知捷专利代理事务所(特殊普通合伙) 33338 代理人: 王雪
地址: 311100 浙江省杭州市余杭区*** 国省代码: 浙江;33
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 配置 定时 采集 数据 调度 加密 传输 可视化 方法
【说明书】:

发明公开了一种可配置化定时采集数据、调度数据、加密传输、可视化的方法,包括:核心数据采集引擎采集数据,清洗数据,将数据落入目标数据源;可视化指挥中心读取经过核心数据采集引擎沉淀的数据源,根据数据进行智能建模、智能分析,生成智能报表;核心调度引擎同样也会读取经过核心数据采集引擎沉淀的数据源,规则引擎,对已经配置的规则进行解析,生成调度任务,最后再下发给每一个采集端/用户端,此过程通过MySql进行二次数据沉淀、Redis实现热点数据高性能缓存、InfluxDB进行时序数据存储。本发明适用于多场景下的资源调配优化,构建了完善强大的可视化指挥中心,对资源预期、调整、效率等,提供了强大的基石与力量。

技术领域:

本发明属于数据传输、数据调度领域,更具体地说,涉及一种可配置化定时采集数据、调度数据、加密传输、可视化的方法。

背景技术:

在大数据背景下,数据作为最重要的组成部分,指导着企业的生产和经营,如何运用和分析数据已经成为了不可或缺的一部分,而对于数据安全、数据共享、数据应用和数据分析在大数据的背景下是一个至关重要的一个环节。

然而,传统的软件行业中,数据一般存储在多种异构型的第三方数据服务中,只满足自身应用使用。这就产生了以下劣势:由于数据服务内部闭塞,形成数据孤岛,导致数据无法共享和分析;由于异构型的数据服务的多样性,导致不同数据服务在对接中出现数据类型和数据规则不匹配问题;在实际生产中,我们需要对这里面的数据进行抽取、转化和加载操作,形成数据集市、业务库和数据仓库,提供数据分析和使用,而原有的数据服务模式则不支持这一操作。

与此同时,多行业多业务场景下,总是会出现资源竞争的情况。例如:共享仓储、共享用工、协同运输、打车等等。当资源有限的情况下,如何及时获取多目标终端数据,统一进行采集、分析、调度。这即是本发明要解决的核心问题。

综上所述,如何让不同类型的异构化数据服务共享在同一个类型的数据服务平台中,并且打通数据内部关系以提供数据共享、应用和分析,用于企业的管理、调度、生产指导等,已经成为目前本领域技术人员亟待解决的问题。

发明内容:

本发明为了解决上述现有技术中存在的缺陷和不足,提供了一种可配置化定时采集数据、调度数据、加密传输、可视化的方法,其能够通过配置实现大批量的定时任务采集数据、间隔性的提取数据源的数据并清洗到目标源中,并且根据配置规则进行间隔性调度与下发任务。

为了实现上述目的,本申请提供如下技术方案:

一种可配置化定时采集数据、调度数据、加密传输、可视化的方法,应用于多种类型异构型数据源和异构型目标源数据的传输、采集,针对采集数据进行清洗、解析、建模、分析从而生成调度任务,对资源进行调配优化,包括:

核心数据采集引擎采集数据,清洗数据,将数据落入目标数据源;

可视化指挥中心读取经过核心数据采集引擎沉淀的数据源,根据数据进行智能建模、智能分析,生成智能报表;

核心调度引擎同样也会读取经过核心数据采集引擎沉淀的数据源,规则引擎,对已经配置的规则进行解析,生成调度任务,最后再下发给每一个采集端/用户端,此过程通过MySql进行二次数据沉淀、Redis实现热点数据高性能缓存、InfluxDB进行时序数据存储。

优选地,对当前多异质设备进行数据采集,包括:

针对多异质设备数据进行采集,基于不同的系统,甚至不同的编程语言,采用统一的方式采集上报数据;插件式采集实现;

采集后,核心采集引擎会根据清洗规则对采集数据进行入库;

且上报频率、上报内容、清洗规则可配置化,一切基于配置文件驱动;为复杂的业务场景与需求提供了拓展性与灵活性。

优选地,多内容、多规则可配置化,包括:

通过统一的配置中心,对维护多种类、多方式的配置文件,而且统一由配置中心进行加密,

应用端统一访问配置中心,从配置中心拉取并解密配置。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州雷数科技有限公司,未经杭州雷数科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202111375229.X/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top