[发明专利]一种数据处理方法和装置

说明书

本发明实施例提供了一种数据处理方法和装置，该方法包括：当需要将第一数据模型库中的数据转换成第二数据模型库中的数据时，获取第一数据模型库中的数据，其中，获取的所述数据的结构为第一数据结构；将获取的所述数据的结构从所述第一数据结构转换成中间模型数据库的中间数据结构；将获取的所述数据的结构从所述中间数据结构转换成所述第二数据库的第二数据结构；将转换后的具有所述第二数据结构的数据保存到所述第二数据模型库中。本申请降低了数据转换的维护成本。

技术领域

本发明涉及互联网技术领域，特别是涉及一种数据处理方法和装置。

背景技术

在互联网企业的数据库中，存在多种异构数据库。各种数据库的性质不同，因此，使用的场景也就不同，例如，有些数据库比较灵敏，适用于在线更新，有些数据库容量较大，适用于离线备份。由于各种数据库的应用场景不同，因此，各种异构数据库之间常常需要进行一些数据的传递与交互。例如，某线上业务将数据写入数据库A中，而另一业务需要从数据库B中读出这些数据，因此，需要把数据库A中的数据传递到数据库B中。由于源数据库和目标数据库可能使用了不同的数据模型，例如，A是基于文档型的数据库，B是基于键值对的数据库，则在数据传递的过程中，需要对数据模型进行转换。

在现有技术中，对两种异构数据模型定义一种数据转换的规则，根据规则可以将数据库A中的数据转换成数据库B中的数据格式。所有异构数据库之间的数据传递，都可以依赖这些异构数据库之间定义的规则来进行转换。

现有技术是通过定义两个数据模型之间的数据转换规则来实现数据转换的。但是，随着数据系统的增大，当系统中同时存在多种不同数据模型的数据库时，就必须针对所有异构数据模型两两之间都分别定义一套数据转换规则，从而使得数据转换规则数量过多，体系复杂庞大。例如，如果有5种不同数据模型的数据库之间需要数据交互，根据现有技术，就需要为这5种数据库两两之间分别定义一套数据转换规则。另外，在使用现有技术的方案时，如果需要增加新的数据模型，产生的成本也较大，这是因为，需要定义该新数据模型和所有旧数据模型之间的转换规则，如果原系统中有n种不同的数据模型，此时添加一个新数据模型，就需要添加n套相应的数据转换规则。

因此，目前需要本领域技术人员迫切解决的一个技术问题就是：降低数据转换的维护成本。

发明内容

本发明实施例所要解决的技术问题是提供一种数据处理方法，以便降低数据转换的维护成本。

相应的，本发明实施例还提供了一种数据处理装置，用以保证上述方法的实现及应用。

为了解决上述问题，本发明公开了一种数据处理方法，包括：当需要将第一数据模型库中的数据转换成第二数据模型库中的数据时，获取第一数据模型库中的数据，其中，获取的所述数据的结构为第一数据结构；将获取的所述数据的结构从所述第一数据结构转换成中间模型数据库的中间数据结构；将获取的所述数据的结构从所述中间数据结构转换成所述第二数据库的第二数据结构；将转换后的具有所述第二数据结构的数据保存到所述第二数据模型库中。

优选地，所述中间数据结构包括：唯一标识值和与所述唯一标识值对应的数据内容。

优选地，当所述第一数据模型库为基于键值对的数据模型时，将获取的所述数据的结构从所述第一数据结构转换成中间模型数据库的中间数据结构，包括：将获取的所述数据的键映射为所述唯一标识值；将获取的所述数据的值映射为所述唯一标识值对应的数据内容。

优选地，当所述第一数据模型库为基于文档的数据模型时，将获取的所述数据的结构从所述第一数据结构转换成中间模型数据库的中间数据结构，包括：将获取的所述数据的标识ID映射为所述唯一标识值；将获取的所述数据的文档映射为所述唯一标识值对应的数据内容。