近期，av影片中文 杨志峰院士团队何正磊副教授课题组在Water Research上发表题为“Wastewater Treatment Process Optimization in Stochastic Game based on Multiagent Deep Reinforcement Learning”的研究论文。何正磊副教授为论文通讯作者，av影片中文 硕士研究生王星宇为论文共同第一作者。

【中文摘要】：

受工况与生产原料频繁波动影响，造纸污水处理过程具备强非线性与动态不确定性特征。如何在碳排放管控日趋严格的发展格局下实现碳污协同减排是行业面临的重要科学问题。本文以污水达标排放为约束，降低运行成本、能耗与温室气体（GHG）排放量为多重目标，提出了一种基于克里金法（Kriging）-高维模型表征(HDMR)代理温室气体求解模型和多智能体强化学习的多目标优化方法。研究采用了一号基准仿真模型（BSM1）对污水生化处理及沉淀单元进行模拟仿真，通过融合生化反应机理与仿真取样数据驱动，建立了面向污水处理过程温室气体排放量实时求解的Kriging-HDMR代理模型，实现温室气体排放量实时估算。通过将代理模型集成至强化学习观测集与多智能体博弈决策过程，建立了基于“求解-决策-观察”的污水处理过程动态优化多智能体系统。模拟结果显示，相比于BSM1基准控制，所提出的多智能体系统在保持排放水质标准的同时，可分别降低运营成本、能耗及温室气体排放3.52%、26.38%与7.9%。

【创新发现点】：

1.研究基于BSM1仿真环境构建Kriging-HDMR温室气体代理模型，解决了基准模型系统的GHGs核算能力缺失问题，并突破了机理求解速度慢，精度差等局限。

2.本研究提出的多智能体随机博弈的动态优化控制策略，有效挖掘了污水处理过程中碳、污与能耗等多目标多约束间的动态博弈关系，为协同减排提供了依据和实现路径。

【关键图示】：

图1.图文摘要

图2.基于Kriging-HDMR代理模型与强化学习多智能体的模型仿真界面

图3.智能体训练过程中回合累计奖励收敛图:(a)带标准差区间的累计奖励收敛曲线;(b) 9次独立训练实验的回合累计奖励收敛曲线

图4.MADRL模型与静态PI系统、开环系统的运行成本对比:(a)模型模拟全过程; (b)累计总量

图5.MADRL模型与静态PI系统、开环系统的能耗对比: (a)曝气能耗; (b)泵送能耗; (c)混合能耗

图6.MADRL模型与静态PI系统、开环系统的温室气体排放对比:(a)直接温室气体排放; (b)间接温室气体排放

【原文链接】：//www.sciencedirect.com/science/article/pii/S0043135426009322

供稿：何正磊

初审：陆丽莹

复审：徐超

终审：解玉磊