論文學習交流-資料下載頁
2025-08-01 14:07本頁面
【正文】 expected discounted reward or statevalue... ? 在 Q學習過程中， a learned action value function Q directly approximates Q? through value ， Q值的更新規(guī)則如下公式： ? 在下節(jié)中，我們列 MAC能耗優(yōu)化方程，作為一個 MDP（馬爾可夫過程）。我們會表明通過仔細確定 the reward function和 the RL algorithm，一個接近最佳的媒介接入算法可以得到。 RLMAC protocol design ? RLMAC采用了跟 SMAC和 TMAC相似的基于幀的結(jié)構(gòu)。最大的特點 是我們的協(xié)議中，活動時間和工作周期都是隨著節(jié)點的流量負載和它的輸入流量特征動態(tài)變化的。 ? 如下圖：時間被分為幀，而每幀再分為時槽（ finer time slots）。時槽的長度由信道帶寬和數(shù)據(jù)長度決定。在每幀的開始處， RL代理（ RL agent）作為這個 MAC協(xié)議的主節(jié)點，動態(tài)地預約時槽作為活動時間。在活動時間，節(jié)點偵聽信道，試圖跟鄰居節(jié)點交換數(shù)據(jù)包。當一個預約的活動時間超時，節(jié)點停止收發(fā)，進入睡眠狀態(tài)。 ? 我們接下來定義協(xié)議的 關(guān)鍵部分，特別強調(diào) RL 的上下文。 Active time reservation 活動時間的預約 ? 一個理想的 MAC協(xié)議如果完全知道節(jié)點和所有鄰居的流量可以設(shè)計理想的媒介接入策略。由于對一個節(jié)點來說這些信息并不可得到，我們就采用一些估算。我們的方法就基于這個前提，同時我們把活動時間的預約問題作為一個 MDP（馬爾可夫過程）（ formulate the active time reservation problem as an MDP） . ? 我們的 RL代理的目標是：首先，努力最大化一個能效因子，它是有效的傳輸 /接收時間跟總的預約活動之間的比率。第二，它要最大化吞吐量。 Reward function formulation ? 我們接下來討論 the reward functions defined和用來使代理節(jié)點學習最優(yōu)的媒介接入控制策略的算法。 ? 能耗和吞吐量都是非常重要的，不希望以不可接受的吞吐量的代價來減少能耗。因此預約的活動時間應該是節(jié)點流量負載情況的函數(shù)。 Early sleeping avoidance “早睡問題”的避免 ? 早睡問題是當節(jié)點進入睡眠模式而鄰居節(jié)點仍然需要傳輸數(shù)據(jù)的時候發(fā)生的。節(jié)點進入睡眠后，就不再偵聽信道，失去了這個時候發(fā)給它的數(shù)據(jù)，或?qū)е聰?shù)據(jù)發(fā)送延時。 ? 為解決早睡問題，我們使 RL代理適應于入端的流量情況，在數(shù)據(jù)包頭部加了一個 4bit的域，稱為 FAIL_ATTEMPT，表示數(shù)據(jù)包由于接收點早睡而經(jīng)歷的延時。換句話，這個域提供了信息給接收節(jié)點，它根據(jù)此來進行調(diào)整。 The Qlearning algorithm Q學習 算法 ? 在學習過程中，在每幀的結(jié)束， RL代理評定時間的差異，更新 Q值，根據(jù) the Egreedy method (Sutton and Barto, 1998)選擇下個活動。使用這種方法，代理根據(jù)最大的 Q值和概率 E選擇活動。 Overhearing and collision avoidance 串音和沖突避免 ? 跟 SMAC類似的串音避免機制也在 RLMAC中使用了。不同的是， SMAC中當一個節(jié)點偵聽到發(fā)給該節(jié)點的鄰居的 RTS or CTS信息后就進入睡眠，直到下個工作周期。而我們的協(xié)議中，節(jié)點只在 CTS包中說明的時間內(nèi)睡眠，如果預約的活動時間沒過期就醒來準備可能的收發(fā)。 Simulation results Conclusions ? 本文關(guān)注無線傳感器網(wǎng)絡(luò)的 MAC問題，優(yōu)化吞吐量和最小化能耗。我們使用了一種 RL算法來解決提到的問題。 The RL framework assumes an underlaying MDP, which使節(jié)點推測網(wǎng)絡(luò)中其它節(jié)點的狀態(tài)，來動態(tài)地優(yōu)化MAC策略。我們的協(xié)議提供了很高的吞吐量和很高的能量利用率，即使在高流量負載的情況下。 謝謝！
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1