[发明专利]一种使用深度强化学习模型进行油藏最优注采方案预测模型及其预测方法

权利要求书

1.一种使用深度强化学习模型进行油藏最优注采方案预测模型，其特征在于：包括仿真水驱油藏模型、水驱注采方案优化模型、智能体模型和注采指标迁移优化方案模型，

仿真水驱油藏模型，用于拟合真实生产环境的历史数据，从而仿真实际的生产环境供智能体模型学习；

水驱注采方案优化模型，用于与仿真水驱油藏模型和智能体模型进行交互，进而实现对智能体模型进行优化的目的；

智能体模型，用于根据当前的生产状态来设计相应的注采方案，并根据水驱注采方案优化模型反馈的奖励值来不断优化，从而输出最优的注采方案；

注采指标迁移优化方案模型，用于提高仿真水驱油藏模型预测结果的准确性。

2.根据权利要求1所述的一种使用深度强化学习模型进行油藏最优注采方案预测模型，其特征在于：仿真水驱油藏模型包括VerticalNet、HorizonNet和LiftNet三个子模型；

VerticalNet的输入数据是仿真水驱油藏模型的输入为日注水量与井口压力，VerrticalNet的输出数据为注水井的纵向劈分、注水井在各小层的压力、注水井在各小层周围的地层压力和各小层的驱油总量；

HorizonNet的输入数据为VerticalNet的输出数据，HorizonNet的输出数据为各小层的横向劈分、各生产井在不同小层上的压力、不同小层周围的地层压力、各生产井在不同小层的产油量与驱油量；

LiftNet的输入数据为HorizonNet的输出数据，LiftNet的输出数据即为仿真水驱油藏模型的输出数据，为生产井的日产液与日产油。

3.根据权利要求2所述的一种使用深度强化学习模型进行油藏最优注采方案预测模型，其特征在于：水驱注采方案优化模型的输入数据为智能体模型的注采方案，水驱注采方案优化模型经过SIP模型的训练之后的输出数据为生产井的产油量，并以此作为奖励值反馈给智能体模型，同时，水驱注采方案优化模型会将仿真水驱油藏模型VerticalNet输出数据中的纵向劈分和HorizonNet输出数据中的横向劈分传给智能体模型作为智能体模型的输入数据。

4.根据权利要求3所述的一种使用深度强化学习模型进行油藏最优注采方案预测模型，其特征在于：智能体模型的输入数据即为水驱注采方案优化模型传递过来的VerticalNet输出数据中的纵向劈分和HorizonNet输出数据中的横向劈分，智能体模型的输出数据为生成的注采方案，同时，再获取水驱注采方案优化模型的输出数据作为奖励值，利用强化学习DDPG算法来优化智能体模型，从而获得最优的注采方案。

5.根据权利要求4所述的一种使用深度强化学习模型进行油藏最优注采方案预测模型，其特征在于：注采指标迁移优化方案模型是根据实际生产情况和业务逻辑，利用现有数据和仿真水驱油藏模型计算得到的数据来给仿真水驱油藏模型提供约束条件，具体如下：

loss_mse_v：计算日注水量与注水劈分量的均方误差损失，根据业务逻辑日注水量与注水劈分量的值应相等；

loss_ploss：日产液损失，利用产能公式计算的日产液与仿真水驱油藏模型拟合的日产液应相等；

reg_poilloss：产油损失，利用产能公式计算得到的日产油与仿真水驱油藏模型拟合的日产油应相等；

reg_abse：注采平衡损失，根据业务逻辑得到，在一段时间内注水量与产液量应相等；

reg_mse_vhl：仿真水驱油藏模型损失，实际产液量与仿真水驱油藏模型预测的产液量应相等；

reg_mse_v_1：注水量损失，日注水量需近似等于驱油总量与边水侵入量之和。

6.根据权利要求5所述的一种使用深度强化学习模型进行油藏最优注采方案预测模型，其特征在于：边水侵入量的计算方法：根据物质平衡方程和历史数据来计算历史边水侵入量，得到历史边水侵入量的分布情况，由于历史边水侵入量的分布情况满足Beta函数分布，故利用Beta函数来拟合边水侵入量作为注采指标迁移优化方案模型的值。