动力部分是全球碳排放的首要驱动要素，占总量的近四分之三，亟需对动力生产和消费办法进行重大转型，以完成世界动力署2050年净零排放方针[1]。存储耦合可再生动力体系整合正是此类变革性战略之一[2]。可再生动力（RERs）可提供零碳动力，其间歇性特性可经过储能技能（ESTs）得到有效管控，从而构成互补协同效应[3]。这种协同效应促使RERs与ESTs在未来电网中获得更高渗透率。据文献[4]研讨显示，2017至2030年间电池储能本钱将大幅下降50%–60%，而产值将增长至少17倍。另一方面，光伏发电在2021年完成了22%的明显增长[5]。要将可再生动力与储能技能安全整合入电网而不危及体系稳定性，除其他要素外，还需要具有可扩展性且能维护隐私的操控算法[6][7][8]。这些要素一起构成了本文研讨的首要动机。
本研讨首先构建了一个由装置屋顶光伏板的家庭用户与同享电池储能体系(SBESS)组成的本地居民社区模型。咱们的方针是以彻底涣散的办法操控SBESS，一起完成各户家庭套利收益的最大化。为此，咱们选用了多智能体强化学习(MARL)技能结构。
如众多实践测验案例所示，随着同享储能的本钱效益逐步优于独立储能体系[9]，近年来SBESS范畴的最新技能取得了明显发展。例如文献[10]针对14户居民家庭的研讨标明，选用相同容量的同享储能体系最高可完成13.8%的本钱节约。关于操控SBESS的决策结构，标准途径是选用依据模型的优化/规划问题，其方针（Objective）在于完成能量套利的最大化[6][7][8][11][12]。此类问题的特殊性在于存在耦合约束，这源于同享一起的柔性资源——即SBESS。
对此，文献[10]的作者提出了一种依据会集式优化的解决方案，以最小化社区整体电费开销。文献[13]中，研讨者经过树立并求解混合整数二次规划问题，确认了可控负荷的最优调度方案，一起拟定了同享储能体系与个人插电式电动汽车的充放电战略。文献[6]则选用博弈论办法，将装备同享储能的社区动力买卖建模为Stackelberg博弈。文献[7]中，作者提出了一种产消者与储能提供商之间的经济型储能同享结构，经过分布式办法最小化社会本钱。文献[11]的研讨者则规划了和谐者与产消者之间的两阶段定价机制以完成储能同享。文献[8]构建了一个微电网模型，其间同享电池仅能经过可再生动力充电，并针对该模型提出了广义纳什均衡解。文献[12]的作者选用Stackelberg博弈办法，提出了不确认环境下社区动力体系的协同规划战略。在文献[14]中，作者将大量插电式电动汽车的涣散和谐建模为均匀场博弈（MFG）。文献[15]的作者提出了一种依据均匀场操控的战略，用于办理包含实体与虚拟储能的社区需求侧。依据MFG的解决方案在多智能体场景中具有优势，因为它们无需建模智能体间的成对交互，而是经过所谓的均匀场项来表征群体均匀行为，从而近似处理这些交互。但是，与其他依据模型的办法类似，当时刻范围发生变化时，需要重新核算均衡战略。上述办法[6][7][8][10][11][12][13][14][15]存在以下局限性：(i) 会集式架构[10][13]在可扩展性方面面临挑战，因其需要一切智能体与中心核算设施之间进行大量双向通讯，这也会引发隐私相关问题[16]；(ii) 涣散式架构[6][7][8][11][12][14][15]环绕迭代更新机制（直接或间接）来完成最优/均衡状况，高度依靠通讯链路，一旦通讯被损坏（例如因为网络进犯），或许导致收敛失败[17][18]。
经过融合博弈论[19]与强化学习(RL)[20]的理论结构，多智能体强化学习(MARL)将多个智能体与环境间的交互建模为马尔可夫博弈[21]。该结构使智能体能够学习纯涣散式操控战略，这意味着在练习完成后，无需额定的直接或间接和谐机制。为此，文献[21]的作者提出了一种