[发明专利]数据处理方法、装置和系统

说明书

本申请公开了一种数据处理方法、装置和系统，该方法包括：接收业务软件发送的数据插入请求，所述数据插入请求包含数据记录，所述数据记录包含对象类型标识符、字段值、字段标识符和对象实例标识符；根据所述对象类型标识符、所述字段值和所述对象实例标识符，生成字段索引；根据所述对象类型标识符，生成关系索引；向数据库写入所述数据记录；向缓存装置缓存所述索引记录以及索引记录的操作项，所述索引记录包含所述关系索引和字段索引。通过上述方案，实现宽表的高性能的数据处理。

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据处理方法、装置及系统。

背景技术

在软件即服务(Software-as-a-Service，SaaS)化的各种软件(例如：客户关系管理(Customer Relationship Management，CRM))业务中，各个企业(又可以称为租户)有自身的个性化需求，需要在基线版本(又可以称为基础版本)软件上进行定制开发。定制开发的内容可以包括数据模型、业务逻辑和前台页面的定制。

以数据模型的定制开发为例，定制开发包括表定制开发、字段定制开发和索引定制开发等，其中一种实现定制开发的方案是直接修改数据库表模型。由于涉及数据库表模型的修改，对现网业务会造成影响。另外，在逻辑多租情况下，即租户共用数据表场景下，多个租户对同一张数据库表的模型进行修改会造成冲突。

发明内容

本申请实施例提供一种数据处理方法、装置及系统，从而实现大宽表的高性能的数据处理。

为达到上述目的，本发明实施例提供如下技术方案：

第一方面，提供一种数据处理方法，该方法包括：接收业务软件发送的数据插入请求，所述数据插入请求包含数据记录，所述数据记录包含对象类型标识符、字段值、字段标识符和对象实例标识符；根据所述对象类型标识符、所述字段值和所述对象实例标识符，生成字段索引；根据所述对象类型标识符，生成关系索引；向数据库写入所述数据记录；向缓存装置缓存所述索引记录以及索引记录的操作项，所述索引记录包含所述关系索引和字段索引。在该方案中，在写宽表数据记录时分成两个阶段，在第一个阶段，将数据记录插入到数据库、将索引记录缓存在缓存装置；在第二个阶段，通过定时任务定时批量从缓存装置将索引记录同步到数据库。从而实现大宽表的高性能写库。

在一种可能的设计中，根据所述对象类型标识符、所述字段值和所述对象实例标识符，生成字段索引，具体包括：根据所述对象类型标识符，获取字段元数据；根据所述字段元数据、所述字段值和所述对象实例标识符，生成字段索引，所述字段索引包括唯一索引或非唯一索引。

在一种可能的设计中，根据所述对象类型标识符，生成关系索引，具体包括：根据所述对象类型标识符，获取关系元数据，所述关系元数据包括父对象和子对象之间的关系，其中所述父对象和子对象之间的关系包括父对象的对象类型标识符、子对象的对象类型标识符、父对象关联的字段标识符和子对象关联的字段标识符；从所述关系元数据中获取所述父对象和子对象之间的关系，以及所述子对象的对象类型标识符；根据所述子对象的对象类型标识符从父对象实例中获取所有子对象实例列表；遍历各个子对象实例列表，为每对父对象实例和子对象实例生成一个关系索引；基于父对象的所有关系索引，生成关系索引记录，所述关系索引记录包括父对象类型标识符、父对象实例标识符和所述父对象的所有关系索引。

在一种可能的设计中，向缓存装置缓存所述索引记录以及索引记录的操作项，包括：按照索引记录的操作项发生的时间先后顺序分别将所述索引记录以及索引记录的操作项缓存到所述缓存装置中。

在一种可能的设计中，在预定的时间到达时，索引持久化装置将所述缓存装置中的所述索引记录以及索引记录的操作项写入到所述数据库中。