文獻標識碼： A
DOI：10.16157/j.issn.0258-7998.200920
中文引用格式： 楊戈，張衡. 面向移動邊緣計算基于強化學習的計算卸載算法[J].電子技術應用，2021，47(2)：36-40，48.
英文引用格式： Yang Ge，Zhang Heng. Offloading decision algorithm based on reinforcement learning for mobile edge computing[J]. Application of Electronic Technique，2021，47(2)：36-40，48.
0 引言
隨著萬物互聯趨勢不斷加深，網絡邊緣的智能終端設備不斷增加[1-10]。移動邊緣計算是為提升移動設備服務質量而提出的一種具有前景的新范式[11-20]。
(1)以降低時延為優化目標
文獻[3]將卸載決策歸結為兩種時間尺度下的隨機優化問題，并采用馬爾科夫決策過程來處理這個問題。通過分析每個任務的平均時延和設備的平均能耗，提出了一個能量約束的時延最小化問題，并設計了一個有效的一維搜索算法找到了最優的任務卸載策略。
文獻[4]提出了一種低復雜度的漸近最優在線算法，該算法在每個時隙中通過封閉形式或二等分搜索獲得最優解，共同決定卸載決策、移動執行的CPU周期頻率和計算卸載的發射功率。
文獻[5]提出了一種基于云的分層車輛邊緣計算(VEC)卸載框架，在該框架中引入了附近的備用計算服務器來彌補MEC服務器的不足計算資源。基于此框架，文獻采用斯塔克爾伯格博弈方法設計了一種最佳的多級卸載方案，該方案可以最大程度地利用車輛和計算服務器的效用。
(2)以降低能耗為優化目標
文獻[6]將卸載決策公式化為凸優化問題，用于在邊緣云計算能力無限和有限的兩種情況以及在計算等待時間的約束下最小化加權和移動能量消耗。文獻[7]對該方案做出了改進，相比前者降低了90%的能耗。
(3)以權衡能耗和時延為目標
文獻[8]分析了單用戶MEC系統的能耗延遲權衡問題，提出了一種基于Lyapunov優化的云卸載計劃方案以及云執行輸出的下載調度方案。在文獻[9]中擴展到了多用戶系統。
文獻[10]研究了在多信道無線干擾環境下移動邊緣云計算的多用戶計算卸載問題。采用博弈論方法以分布式方式實現有效的計算卸載。
本文詳細內容請下載:http://www.tom3567.com/resource/share/2000003370
作者信息:
楊 戈1，2，張 衡1
(1.北京師范大學珠海分校 智能多媒體技術重點實驗室，廣東 珠海519087；
2.北京大學深圳研究生院 深圳物聯網智能感知技術工程實驗室，廣東 深圳518055)