[发明专利]页面操作数据的处理方法和处理系统

说明书

本申请公开了信息采集领域中一种页面操作数据的处理方法及处理系统。本申请提供的技术方案中，采用消息队列的方式将采集的前端页面操作数据异步传输到后端的数据库服务器中，避免了业务堵塞，提高了数据传输效率。进一步地，本方案通过设计JavaScript埋点脚本和自定义埋点配置，对前端的页面操作数据进行采集，丰富了采集页面操作数据的类型，为后续对用户的行为分析等方面提供了基础。此外，本申请中数据库服务器将存储的页面操作数据实时同步到搜索引擎服务器中，搜索引擎服务器对页面操作数据进行数据处理，得到页面操作行为分析结果，避免了因页面操作数据过多导致的数据库资源不够用的情况，提高了数据处理效率。

技术领域

本申请涉及信息采集领域，尤其涉及页面操作数据的处理方法和处理系统。

背景技术

随着电子商务网站对于电子商务目标的统计分析的需求越来越强烈，电子商务系统需要从前端采集大量的用户页面操作数据，并传输给后端的数据库服务器，数据库服务器可以根据接收的页面操作数据分析用户的行为偏好，并以此提升系统的功能，从而为用户提供精准营销，为系统的发展方向及公司效益提供无形的价值。

当页面操作数据量巨大或多个前端同时向后端数据库服务器发送页面操作数据时，传统的数据传输方式容易出现业务堵塞的情况，导致数据传输效率较低。

发明内容

本申请提出了信息采集领域中一种页面操作数据的处理方法及处理系统。

第一方面，本申请提供了一种页面操作数据的处理方法。该方法包括：前端接收页面操作；所述前端根据运行的埋点脚本采集页面操作数据；所述前端向后端发送异步请求消息，所述异步请求消息用于请求向所述后端发送所述页面操作数据；所述后端接收到所述异步请求消息之后，向所述前端发送响应消息；所述前端接收到所述响应消息之后，向所述后端的消息队列发送所述页面操作数据；所述后端依次读取所述消息队列中的页面操作数据，并将所述消息队列中的页面操作数据按照对应的页面元素类型进行分类；所述后端将分类后的页面操作数据写入数据库中。

结合第一方面，在第一种可能的实现方式中，所述消息队列包括不同的主题队列，所述不同的主题队列对应不同数据处理类型的页面操作数据；相应地，所述前端接收到所述响应消息之后，向所述后端的消息队列发送所述页面操作数据，包括：所述前端接收到所述响应消息之后，向所述后端的消息队列中与所述页面操作数据的数据处理类型对应的主题队列发送所述页面操作数据。

结合第一种可能的实现方式，在第二种可能的实现方式中，所述数据处理类型包括日志处理类型、请求处理类型和访问处理类型。

结合第一方面或上述任意一种可能的实现方式，在第三种可能的实现方式中，所述方法还包括：所述数据库的数据传输服务监听到所述数据库中的页面操作数据发生变化时，向搜索引擎服务器发送发生变化的页面操作数据；所述搜索引擎服务器对接收到的页面操作数据进行存储、查询和检索处理。

结合第三种可能的实现方式，在第四种可能的实现方式中，所述数据库为分布式关系型，所述搜索引擎服务器为分布式多能力用户全文搜索引擎。

第二方面，本申请提供一种页面操作数据的处理系统，包括前端和后端。所述前端用于：接收页面操作，根据运行的埋点脚本采集页面操作数据，向后端发送异步请求消息，所述异步请求消息用于请求向所述后端发送所述页面操作数据。所述后端用于：在接收到所述异步请求消息之后，向所述前端发送响应消息。所述前端还用于：在接收到所述响应消息之后，向所述后端的消息队列发送所述页面操作数据。所述后端还用于：依次读取所述消息队列中的页面操作数据，将所述消息队列中的页面操作数据按照对应的页面元素类型进行分类，将分类后的页面操作数据写入数据库中。

结合第二方面，在第一种可能的实现方式中，所述消息队列包括不同的主题队列，所述不同的主题队列对应不同数据处理类型的页面操作数据。