[发明专利]数据处理方法、装置、设备和计算机可读存储介质

说明书

本发明提供了一种数据处理方法、装置、设备和计算机可读存储介质，其中，数据处理方法包括：响应于待分析数据的配置信息，触发计算平台的对应节点创建计算任务；将待分析数据实时加载至计算任务，以获取待分析数据的指标数据。通过本发明的技术方案，有利于提高计算大量数据的效率和准确性。

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种数据处理方法、一种数据处理装置、一种数据处理设备和一种计算机可读存储介质。

背景技术

随着大数据平台和移动业务的不断发展，用户在移动端的操作行为数据就成为应用业务分析的重要数据。

具体地，用户在使用诸如网约车、外卖、电商等生活应用软件时，会产生大量且复杂的操作数据，例如，网约车应用软件中，涉及到专车业务、快车业务、顺风车业务、代驾业务、试驾业务和小巴业务等多种运营业务。又由于用户人数过亿，因此，如何对于上亿的操作行为数据进行多维度和准确分析，成为大数据平台亟待解决的技术问题。

发明内容

本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。

为此，本发明的一个目的在于提供一种数据处理方法。

本发明的另一个目的在于提供一种数据处理装置。

本发明的另一个目的在于提供一种数据处理设备。

本发明的另一个目的在于提供一种计算机可读存储介质。

为了实现上述目的，根据本发明的第一方面的实施例，提供了一种数据处理方法，包括：响应于待分析数据的配置信息，触发计算平台的对应节点创建计算任务；将待分析数据实时加载至计算任务，以获取待分析数据的指标数据。

在该技术方案中，通过响应于待分析数据的配置信息，触发计算平台的对应节点创建计算任务，能够优化对技术平台的利用率，其中，配置信息是根据数据分析需求确定的，例如，需要分析早上8:00am～10:00am的网约车调度数据，则在计算平台中设置的配置信息为有效时间为8:00am～10:00am，即在早上8:00am～10:00am处理的订单(成单和消单)为有效订单，其他时段的订单不进行处理，进一步地，根据早上8:00am～10:00am处理的订单量创建相应的计算任务，有利于优化计算平台资源的利用率，在经过节点计算后，得到指标数据诸如在早上8:00am～10:00am时段内网约车的调度需求指标、对司机进行奖励的金额指标、对乘客发送折扣优惠信息的指标、成单率指标、消单率指标、总成交量指标和交通路况指标等。

进一步地，为了优化调度计算任务的可靠性，对于不同配置信息的数据设置不同的优先级，并设置调度不同的节点对不同优先级的待分析数据进行处理，也即通过数据隔离来提升数据计算过程的安全性。

另外，可以通过简单修改配置文件，来简便地获取待分析数据对应的指标数据。

在上述任一技术方案中，优选地，数据处理方法还包括：根据待分析数据的属性信息确定配置信息，其中，属性信息包括待分析数据的时间信息、指标信息和数据源信息中的至少一种，指标数据为指标信息中的数据内容。

在该技术方案中，通过根据待分析数据的属性信息确定配置信息，能够提高配置信息的准确性和调度节点创建计算任务的可靠性，例如，待分析数据的属性信息包括数据生成时的时间戳，则相应的配置信息包括待分析数据的时间段。又如，待分析数据的属性信息包括用户类型，价格敏感型和价格非敏感型，则配置信息包括对应于用户类型的优先级，即设置价格敏感型用户的优先级高于价格非敏感型用户的优先级。再如，待分析数据的属性信息包括订单行程路线，则配置信息包括待分析数据的预设区域信息，即在预设区域内的待分析数据有效，预设区域外的待分析数据无效。