福州大學(xué)電氣工程與自動(dòng)化學(xué)院的研究人員汪波、鄭文迪，在2018年第2期《電氣技術(shù)》雜志上撰文指出，隨著分布式清潔能源在電網(wǎng)所占比重逐年增加，其功率預(yù)測(cè)誤差給電網(wǎng)的穩(wěn)定運(yùn)行帶來(lái)巨大挑戰(zhàn)，如何使儲(chǔ)能系統(tǒng)在實(shí)時(shí)調(diào)度周期快速做出充放電決策達(dá)到最優(yōu)的削峰填谷效果需要一種控制方法。

考慮儲(chǔ)能系統(tǒng)充放電爬坡和存儲(chǔ)電量限值等約束條件，提出改進(jìn)的Q學(xué)習(xí)算法，用全局最優(yōu)懲罰項(xiàng)引導(dǎo)其利用離線數(shù)據(jù)分階段學(xué)習(xí)訓(xùn)練得出最優(yōu)決策，可以快速地收斂，且準(zhǔn)確性高；在實(shí)時(shí)調(diào)度周期負(fù)荷功率預(yù)測(cè)不準(zhǔn)確時(shí)，儲(chǔ)能系統(tǒng)只需要修正狀態(tài)量并判斷其所處狀態(tài)，基于訓(xùn)練好的Q值表，采用貪婪策略可以快速得出其最優(yōu)動(dòng)作值，不需要再進(jìn)行全局尋優(yōu)迭代運(yùn)算。

仿真算例結(jié)果表明，相比于傳統(tǒng)Q學(xué)習(xí)算法，本文所提方法收斂速度更快，且訓(xùn)練好的Q值表可以用于實(shí)時(shí)調(diào)度周期儲(chǔ)能系統(tǒng)做優(yōu)化決策。

儲(chǔ)能系統(tǒng)具有平衡功率波動(dòng)，對(duì)負(fù)荷曲線削峰填谷的優(yōu)點(diǎn)，也可以提高分布式設(shè)備的利用率，節(jié)省分布式電源容量成本，還可以保持系統(tǒng)穩(wěn)定[1-5]。中關(guān)村儲(chǔ)能產(chǎn)業(yè)技術(shù)聯(lián)盟發(fā)布的《儲(chǔ)能產(chǎn)業(yè)研究白皮書2016》預(yù)測(cè)，到2020年，理想情景下，我國(guó)儲(chǔ)能市場(chǎng)總裝機(jī)規(guī)模將達(dá)24.2 GW；常規(guī)情景下，我國(guó)儲(chǔ)能市場(chǎng)總裝機(jī)規(guī)模也將達(dá)到14.5 GW。隨著分布式能源近年來(lái)大規(guī)模接入電網(wǎng)，其作用更加重要，而儲(chǔ)能投資成本近年來(lái)也不斷下降，儲(chǔ)能產(chǎn)業(yè)將快速發(fā)展并推動(dòng)能源變革。

目前，儲(chǔ)能系統(tǒng)的運(yùn)行主要面臨兩個(gè)問(wèn)題，第一，絕大部分的儲(chǔ)能系統(tǒng)控制策略都是將其作為輔助元件，被動(dòng)的接收調(diào)度命令，如文獻(xiàn)[6]提出一種消納高滲透分布式光伏發(fā)電有功功率波動(dòng)的集中式儲(chǔ)能電站實(shí)時(shí)調(diào)度方法；文獻(xiàn)[7]在孤島運(yùn)行微電網(wǎng)能量?jī)?yōu)化管理中，不僅對(duì)分布式發(fā)電輸出功率進(jìn)行優(yōu)化分配，還根據(jù)模糊邏輯對(duì)蓄電池的充放電進(jìn)行能量的調(diào)度；文獻(xiàn)[8]將蓄電池虛擬放電和充電價(jià)格計(jì)入群體尋優(yōu)目標(biāo)函數(shù)，結(jié)合協(xié)同進(jìn)化遺傳算法，使用群體尋優(yōu)目標(biāo)函數(shù)和精英尋優(yōu)目標(biāo)函數(shù)尋求分階段經(jīng)濟(jì)調(diào)度最優(yōu)解。

在這種情況下，當(dāng)電力用戶和中間商都參與進(jìn)來(lái)的時(shí)候，調(diào)度需要考慮太多因素，不滿足實(shí)時(shí)調(diào)度的實(shí)時(shí)性需求。第二，目前的儲(chǔ)能系統(tǒng)充放電策略優(yōu)化算法有遺傳算法[9]、粒子群算法[10]、模擬退火算法[11]、動(dòng)態(tài)規(guī)劃算法[12]等，這些方法都是針對(duì)負(fù)荷曲線為確定情況，而在實(shí)時(shí)調(diào)度期間，實(shí)時(shí)負(fù)荷功率與預(yù)測(cè)值有誤差，以上方法都需要重新計(jì)算策略，不滿足實(shí)時(shí)性需求。

文獻(xiàn)[13]研究了儲(chǔ)能系統(tǒng)能量調(diào)度及需求響應(yīng)聯(lián)合優(yōu)化問(wèn)題，對(duì)儲(chǔ)能單元?jiǎng)幼骷翱裳訒r(shí)負(fù)荷動(dòng)作進(jìn)行優(yōu)化控制，但是其并沒(méi)有量化儲(chǔ)能系統(tǒng)的充放電數(shù)值，而且其采用的傳統(tǒng)Q學(xué)習(xí)算法，收斂速度較慢，需要調(diào)整好參數(shù)才能收斂。

本文使儲(chǔ)能系統(tǒng)以凈負(fù)荷功率曲線方差最小為目標(biāo)，決策其每一實(shí)時(shí)調(diào)度周期的充放電功率值。提出了用全局最優(yōu)懲罰項(xiàng)的方法來(lái)引導(dǎo)Q學(xué)習(xí)算法獲得一天的最優(yōu)動(dòng)作值，相比于傳統(tǒng)Q學(xué)習(xí)算法，收斂速度更快；用訓(xùn)練好的Q值表指導(dǎo)儲(chǔ)能系統(tǒng)在實(shí)時(shí)調(diào)度周期做出最優(yōu)充放電動(dòng)作決策，在凈負(fù)荷功率預(yù)測(cè)不準(zhǔn)確的情況下不需要重新迭代運(yùn)算獲得最優(yōu)動(dòng)作值，從而滿足實(shí)時(shí)性要求。

圖1 凈負(fù)荷曲線

結(jié)論

本文基于Q值表的記憶功能，提出改進(jìn)的Q學(xué)習(xí)算法，去掉了遺忘因子，將不同狀態(tài)下即時(shí)報(bào)酬之間的關(guān)系解耦，用全局最優(yōu)懲罰項(xiàng)引導(dǎo)算法收斂，使儲(chǔ)能系統(tǒng)獲得一天的最優(yōu)充放電動(dòng)作決策，這種方法是基于初始Q值表對(duì)各種狀態(tài)情況下采取不同動(dòng)作的即時(shí)報(bào)酬有了認(rèn)識(shí)以后才進(jìn)行的。

相比于傳統(tǒng)Q學(xué)習(xí)算法，其收斂速度更快，準(zhǔn)確性更高，迭代完成后的結(jié)果具有唯一性。而且，因?yàn)镼值表具有記憶功能，在實(shí)時(shí)調(diào)度周期不需要因?yàn)樨?fù)荷功率預(yù)測(cè)值不準(zhǔn)確而重新進(jìn)行迭代尋優(yōu)，只需修正并判斷其當(dāng)前所處狀態(tài)，基于訓(xùn)練好的Q值表使用貪婪策略可快速獲得當(dāng)前狀態(tài)最優(yōu)動(dòng)作值。但是這種方法需要較大的內(nèi)存存儲(chǔ)Q值表中的數(shù)值，后續(xù)工作可以考慮如何減少狀態(tài)總數(shù)，從而減少Q(mào)值表中的值，避免維數(shù)過(guò)大。