[发明专利]多源异构日志数据处理方法、装置、设备及介质

说明书

本公开提供了一种多源异构日志数据处理方法，可以应用于信息技术领域。该多源异构日志数据处理方法包括：根据多源异构日志数据源生成元数据对象；对多源异构日志数据源进行日志分析，得到日志分析结果；根据元数据对象和日志分析结果得到元数据关系；根据元数据关系和元数据对象生成多源异构日志数据源的元数据。本公开还提供了一种多源异构日志数据处理装置、设备、存储介质和程序产品。

技术领域

本公开涉及信息技术领域，具体地涉及一种多源异构日志数据处理方法、装置、设备及介质。

背景技术

针对数据处理，数据分析是数据处理流程的核心，因为数据中所蕴藏的价值就产生于分析的过程。所谓“大数据分析”，其和以往数据分析的最重要差别在于数据量急剧增长。由于数据量的增长，使得对于数据的存储、查询以及分析的要求迅速提高。从实际操作的角度看，“大数据分析”需要通过对原始数据进行分析来探究一种模式，寻找导致现实情况的根源因素，通过建立模型与预测来进行优化，以实现社会运行中各个领域的持续改善与创新。

虽然近两年来“大数据”的概念越来越多的被媒体以及行业提及，但“大数据分析”在国内的发展却仍处于初期阶段。

从行业实践的角度看，只有少数几个行业的部分企业，能够对大数据进行基本分析和运用，并在业务决策中以数据分析结果为依据。这些行业主要集中在银行与保险，电信与电商等领域。以银行业为例，目前大型国有银行在其主营业务中均引入了数据分析，但深度尚可，广度不够，尚未扩充到运营管理的所有领域。而中小银行在数据分析方面的人员与能力建设尚处于起步阶段。对于支撑起我国庞大国民生产总值的建筑业、制造业以及贸易行业，其数据分析应用远远没有进入规模化发展阶段，这些行业在IT方向的开支主要集中在公司日常的流程化管理领域。

从技术发展的角度看，一些已经较为成熟的数据分析处理技术，例如商业智能技术和数据挖掘技术，已经在多个行业领域里得到广泛和深入的应用。最典型的就是电商行业，运用这些技术对行业数据进行分析，对提高行业的整体运行效率以及增加行业利润都起到了极大的推动作用。但对于像Hadoop、非结构化数据库、数据可视化工具以及个性化推荐引擎这样的新技术，其较高的技术门槛和高昂的运营维护成本使得国内只有少数企业能够将其运用到深入分析行业数据中。

从数据来源的角度看，在能够实现数据化运营的企业中，绝大多数仅仅完成了依靠企业自身所产生的数据解决自身所面临的问题，并且是依据问题来收集所需要的数据。而仅有极少数互联网企业能够发挥出大数据分析的真正价值。同时运用企业外部和内部的数据来解决企业自身的问题，通过数据分析预测可能出现的问题，并依据数据分析的结果进行商业决策。在一定程度上实现了由数据化运营向运营数据的转变。

但随着信息技术的发展，信息系统规模出现爆炸式增长，呈现出数据量大、数据种类和来源多样化、数据价值密度相对较低、数据增长速度快、数据准确性和可信度低的特点。为了处理大规模数据，信息系统通常采用分布式的体系结构，导致数据具有多源、异构的特点，即数据通常分布在多个数据源中，数据源之间种类、结构、实现、版本、部署环境等各不相同。多源异构数据给理解信息系统、迭代和维护信息系统、使用和查询数据带来了巨大的挑战。

发明内容

鉴于上述问题，本公开提供了一种多源异构日志数据处理方法、装置、设备、介质和程序产品。

根据本公开的第一个方面，提供了一种多源异构日志数据处理方法，包括：根据多源异构日志数据源生成元数据对象；对多源异构日志数据源进行日志分析，得到日志分析结果；根据元数据对象和日志分析结果得到元数据关系；根据元数据关系和元数据对象生成多源异构日志数据源的元数据。

根据本公开的实施例，根据多源异构日志数据源生成元数据对象包括：对多源异构日志数据源进行数据导入检查；在通过数据导入检查后，根据数据存储组件抽取多源异构日志数据源的模式；根据模式抽取多源异构日志数据源的关键信息；根据关键信息生成元数据对象。