本發(fā)明涉及一種基于強(qiáng)化學(xué)習(xí)的城軌交通地面式超級(jí)電容儲(chǔ)能系統(tǒng)能量管理方法。該方法包括策略網(wǎng)絡(luò)初始化和在線學(xué)習(xí)兩部分；其中策略網(wǎng)絡(luò)初始化部分利用城軌交通中已知的線路、車(chē)輛信息、事先編制的列車(chē)運(yùn)行圖，以及實(shí)際采集的歷史車(chē)輛數(shù)據(jù)，建立多車(chē)運(yùn)行場(chǎng)景模型；將多車(chē)運(yùn)行場(chǎng)景模型、空載電壓預(yù)測(cè)模型、直流供電潮流計(jì)算算法和近似動(dòng)態(tài)規(guī)劃算法結(jié)合，得到策略網(wǎng)絡(luò)，作為在線學(xué)習(xí)模塊的初值；在線學(xué)習(xí)模塊采用無(wú)模型強(qiáng)化學(xué)習(xí)算法，通過(guò)超級(jí)電容智能代理試錯(cuò)的方法進(jìn)行充放電閾值在線調(diào)整。本發(fā)明能夠在城軌牽引供電網(wǎng)對(duì)超級(jí)電容儲(chǔ)能系統(tǒng)控制策略進(jìn)行在線學(xué)習(xí)，實(shí)現(xiàn)節(jié)能效果和穩(wěn)壓效果的優(yōu)化。