[发明专利]一种大数据实时应用系统的更新方法、装置及系统在审
申请号: | 201711069874.2 | 申请日: | 2017-11-03 |
公开(公告)号: | CN109947782A | 公开(公告)日: | 2019-06-28 |
发明(设计)人: | 王威;常耀斌;于路;许利群 | 申请(专利权)人: | 中国移动通信有限公司研究院;中国移动通信集团公司 |
主分类号: | G06F16/23 | 分类号: | G06F16/23;G06F16/27 |
代理公司: | 北京银龙知识产权代理有限公司 11243 | 代理人: | 许静;安利霞 |
地址: | 100053 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 大数据 实时应用系统 预测数据 实际数据 预设 更新 装置及系统 模型获取 方案效率 生产流程 生产数据 应用系统 生产 | ||
本发明提供了一种大数据实时应用系统的更新方法、装置及系统,其中,大数据实时应用系统的更新方法,包括:利用大数据实时应用系统中的预设模型获取预测数据;获取与所述预测数据对应的实际数据;根据所述预测数据和所述实际数据,对所述预设模型进行更新。本方案通过利用大数据实时应用系统中的预设模型获取预测数据;获取与所述预测数据对应的实际数据;根据所述预测数据和所述实际数据,对所述预设模型进行更新;能够自动对大数据实时应用系统进行调整,以适应生产流程、生产数据和生产规律的变化;解决现有技术中大数据应用系统的更新方案效率低、准确性差的问题。
技术领域
本发明涉及大数据技术领域,特别是指一种大数据实时应用系统的更新方法、装置及系统。
背景技术
现有的大数据应用系统,可分为三部分功能:数据同步(有些系统省略了这一步)、数据整合、数据分析。其中数据整合是将生产过程中产生的数据进行整合,生成可用于大数据分析的数据集;数据分析是使用模型对数据集进行分析,所用的模型是通过机器学习的方法对历史数据进行分析得到的。
要实时地对生产过程中产生的数据进行同步和整合,需要先对生产流程进行归纳和总结。现有的大数据应用系统是基于固定的生产流程,将应用系统与生产流程紧耦合,有些应用系统将流程做成了可配置的,可以人工对生产流程数据进行修改。如果生产流程发生变化,需要先对新的生产流程进行分析,然后对系统进行相应的修改;如果流程信息是可配置的,则需要对流程的配置数据进行修改。这些工作目前都是人工进行处理。
也就是,在生产过程中产生的数据可能发生变化,比如出现某些特征项中出现新的特征值,或者某些特征项的值变为空。这些特征值的变化可能会使生成的数据集与机器学习模型不匹配,无法用于大数据分析。已有的技术会对这些数据进行过滤,或者对系统进行修改,或者重新训练模型,但是后两种操作都是人工进行处理,不仅效率低、准确性差,还会造成数据浪费。
大数据应用系统所用的机器学习模型是通过对历史数据的分析得到的,是使用机器学习的方法来挖掘历史数据中蕴含的生产规律。但是在生产过程中这些规律可能会发生变化,这时再使用原有的模型进行分析得到的结果是不准确的。已有的技术是经过一段时间后重新对历史数据进行整合,然后通过机器学习的方式生成新模型,用来替换应用系统中的旧模型,这部分工作也是人工完成的。但是,人工对大数据应用系统进行干预,耗时耗力,不能掌握环境的实时变化,还容易造成漏判、误判,影响系统的准确性。
发明内容
本发明的目的在于提供一种大数据实时应用系统的更新方法、装置及系统,解决现有技术中大数据应用系统的更新方案效率低、准确性差的问题。
为了解决上述技术问题,本发明实施例提供一种大数据实时应用系统的更新方法,包括:
利用大数据实时应用系统中的预设模型获取预测数据;
获取与所述预测数据对应的实际数据;
根据所述预测数据和所述实际数据,对所述预设模型进行更新。
可选的,所述利用大数据实时应用系统中的预设模型获取预测数据的步骤包括:
根据实时生产数据得到同步数据;
根据所述同步数据得到整合数据;
利用所述预设模型对所述整合数据进行分析,得到预测数据。
可选的,所述根据实时生产数据得到同步数据的步骤包括:
提取所述实时生产数据的特征项信息;
根据所述特征项信息,将所述实时生产数据存储为同步数据。
可选的,所述根据所述同步数据得到整合数据的步骤包括:
在所述实时生产数据对应的生产流程结束后,将与所述生产流程对应的同步数据进行整合,得到所述整合数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国移动通信有限公司研究院;中国移动通信集团公司,未经中国移动通信有限公司研究院;中国移动通信集团公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711069874.2/2.html,转载请声明来源钻瓜专利网。