[发明专利]用户行为数据写入方法、装置、计算机设备和存储介质

说明书

本申请涉及一种用户行为数据写入方法、装置、计算机设备和存储介质。该方法包括：获取多维度的用户行为数据，用户行为数据携带数据源，创建与数据源匹配的目标Hudi表，根据预设窗口大小对用户行为数据进行聚合，得到目标维度对应的目标业务数据，根据目标提交频率将目标业务数据同步至目标Hudi表，目标提交频率与预设窗口大小相同。采用本方法能够将用户行为数据写入至Hudi表中，基于Hudi存储，解决了Flink在做大窗口或大数据量的中间状态存储导致内存不足问题，从而也避免了引入其他组件作为存储介质。

技术领域

本申请涉及计算机技术领域，特别是涉及一种用户行为数据写入方法、装置、计算机设备和存储介质。

背景技术

目前业界在做实时窗口分析各场景的时候，通常是采用Flink自带的滚动窗口或滑动窗口，在设置了窗口的大小和滑动的步长后，根据既定的维度可以实时的统计出来想要的结果，但是这样的统计需要预先设定好统计的维度和窗口的大小以及步长，灵活性差。其中，由于Flink是基于内存计算，窗口的大小和状态结果集都不宜过大，数据量过大的情况下则需要借助第三方组件存储，引入其他组件不仅会导致架构变得复杂，同时性能也会大大降低。

发明内容

基于此，有必要针对上述技术问题，提供一种用户行为数据写入方法、装置、计算机设备和存储介质，将用户行为数据写入至Hudi表中，基于Hudi存储，解决了Flink在做大窗口或大数据量的中间状态存储导致内存不足问题，从而也避免了引入其他组件作为存储介质。

一种用户行为数据写入方法，该方法包括：

获取多维度的用户行为数据，用户行为数据携带数据源；

创建与数据源匹配的目标Hudi表；

根据预设窗口大小对用户行为数据进行聚合，得到目标维度对应的目标业务数据；

根据目标提交频率将目标业务数据同步至目标Hudi表，目标提交频率与预设窗口大小相同。

在其中一个实施例中，获取多维度的用户行为数据，用户行为数据携带数据源，包括：从业务系统对应的日志文件中获取得到多维度的用户行为数据，用户行为数据是业务系统从采集到的原始数据中进行维度筛选得到。

在其中一个实施例中，创建与数据源匹配的目标Hudi表，包括：创建与数据源对应的MySql表，根据MySql表创建对应的目标Hudi表。

在其中一个实施例中，创建与数据源匹配的目标Hudi表之后，还包括：获取目标Hudi表对应的初始提交频率，将初始提交频率设置为预设窗口大小，得到目标提交频率。

在其中一个实施例中，根据预设窗口大小对用户行为数据进行聚合，得到目标维度对应的目标业务数据，包括：获取预设窗口大小，在当前窗口大小达到预设窗口大小时，从多维度的用户行为数据中筛选得到目标维度对应的中间用户行为数据，对目标维度对应的中间用户行为数据进行聚合，得到聚合后的目标维度对应的目标业务数据。

在其中一个实施例中，根据目标提交频率将目标业务数据同步至目标Hudi表，目标提交频率与预设窗口大小相同，包括：获取上一次提交时间，根据上一次提交时间和目标提交频率确定目标提交时间，在当前提交时间达到目标提交时间时，将目标业务数据和对应的目标提交时间同步至目标Hudi表。

在其中一个实施例中，用户行为数据写入方法还包括：向目标Hudi表发送查询请求，查询请求携带待查询维度信息和待查询提交时间信息，根据查询请求在目标Hudi表中查找与待查询维度信息和待查询提交时间信息匹配的业务数据。

一种用户行为数据写入装置，该装置包括：

获取模块，用于获取多维度的用户行为数据，用户行为数据携带数据源；

创建模块，用于创建与数据源匹配的目标Hudi表；