近日，深圳北理莫斯科大學人工智能研究院訪問學生王魯亞以深北莫為第一單位，在無線通信領域頂級學術期刊IEEE Transactions on Wireless Communications（IEEE TWC，中國科學院一區TOP期刊，IF：10.4）發表研究成果，題目為“Accelerating Wireless Federated Learning via Nesterov’s Momentum and Distributed Principal Component Analysis”。論文合作作者包括深圳北理莫斯科大學董延杰副教授、胡希平教授、梁中明教授（Life Fellow, IEEE）、北京科技大學張海君教授（杰青、Fellow, IEEE）、光明實驗室執行主任于非教授（Fellow, IEEE）和深圳大學王佳助理教授。
該論文研究了一種無線聯邦學習系統架構，如上圖所示。該系統允許服務器和多客戶端通過正交無線信道交換未編碼的信息。由于客戶端頻繁通過受限信道向服務器上傳本地梯度，導致從客戶端到服務器的上行傳輸成為整個系統的通信瓶頸。因此，采用一次性分布式主成分分析（PCA）來降低上傳梯度的維度，以緩解通信瓶頸。基于低維梯度和Nesterov動量提出了一種PCA基無線聯邦學習（PCA-WFL）算法及其加速版本（即PCA-AWFL）。論文首次針對非凸損失函數進行了有限時間分析，以量化系統超參數對PCA-WFL和PCA-AWFL算法收斂性的影響。本文定量化地揭示了PCA-AWFL算法傳統隨機梯度下降算法收斂更快和客戶端數量的線性加速效果。
同期，深北莫人工智能研究院梁鋒副教授以第一作者在信息科學領域的頂級學術期刊Information Sciences (IF: 8.1，中國科學院一區Top期刊) 發表以深北莫為第一單位題為”RelJoin: Relative-cost-based Selection of Distributed Join Methods for Query Plan Optimization“的學術論文。
該論文針對分布式數據庫的join操作在數據交換過程中產生的大量網絡通信工作負載造成性能瓶頸的問題，提出了通信負載感知的基于相對成本的查詢優化器，實現了分布式數據庫從邏輯執行計劃到物理執行計劃的實時優化。文中通過對多種分布式join操作在不同執行階段的網絡和本地計算工作負載的建模，解釋了join操作兩端的數據集的相對大小對于性能影響的重要性。基于此，文中提出的RelJoin的高效分布式join物理操作的選擇策略，利用運行時自適應的統計數據對不同的分布式join操作進行精準的成本估算，并為邏輯執行計劃中的join操作實時選擇最佳的物理實現，從而實現最優的物理查詢計劃。在TPC-DS基準測試中，相比其它執行計劃優化方法，RelJoin在97個查詢中的62個中表現最佳，可以將平均查詢時間減少高達21％。該工作已實現在業界流行的分布式數據庫SparkSQL中，可廣泛應用于大數據的查詢、分析和搜索的場景，具有科研和工業應用的雙重價值。
該論文的合作作者包深北莫胡希平教授、李成明教授，和來自香港大學、北京大學、香港浸會大學等多所高校的學者，體現了深北莫教師與其它著名高校的緊密學術合作，并取得了一定的成效。
論文相關信息：
[1]Y. Dong et al., "Accelerating Wireless Federated Learning via Nesterov’s Momentum and Distributed Principal Component Analysis," in IEEE Transactions on Wireless Communications, vol. 23, no. 6, pp. 5938-5952, June 2024, doi: 10.1109/TWC.2023.3329375.
[2]F. Liang et al., " RelJoin: Relative-cost-based Selection of Distributed Join Methods for Query Plan Optimization," in Information Sciences, vol. 658, 120022, 2024, doi: 10.1016/j.ins.2023.120022.
