陳貝迪：基于現有硬件的高效稀疏且準確的基礎模型訓練 | 第2期“星河Talk”活動預告

11月16日，“上海人工智能實驗室學術論壇”將舉辦第2期“星河Talk”。本期邀請到FAIR研究科學家、卡內基梅隆大學助理教授陳貝迪帶來主題報告《基于現有硬件的高效稀疏且準確的基礎模型訓練》。

第2期“星河Talk”

【活動詳情】

分享主題：基于現有硬件的高效稀疏且準確的基礎模型訓練分享嘉賓：陳貝迪  FAIR研究科學家、卡內基梅隆大學助理教授主持人：孫鵬  上海人工智能實驗室青年科學家活動時間：北京時間 11月16日（周三） 11:00-12:00參與方式：騰訊會議 762 242 224

【講座簡介】

近幾年，機器學習中的模型大小和數據量都在快速增長，大模型訓練需要消耗大量的計算資源。陳貝迪與團隊的工作成果表明，可以根據當前硬件性質調整算法以實現模型訓練效率的進一步提高，且不會降低準確性。在本次演講中，她將首先介紹一系列利用模型計算的稀疏性來加速模型訓練的工作方法。首先是GPU上簡單高效的稀疏模型訓練框架Pixelated Butterfly和Monarch，它們使用基于蝶形和低秩矩陣的簡單、靜態且有結構的稀疏模式，同時考慮了GPU在密矩陣相乘的效率。其訓練速度比密集的Vision Transformer和GPT-2同類產品快2.5倍，且準確度沒有下降。此外，她還會介紹一種在低速網絡上高效通信的流水線并行訓練框架AC-SGD。團隊觀察到，模型參數在訓練期間變化非常緩慢，所以為了減少通信時間，AC-SGD沒有像很多相關工作一樣傳輸壓縮的激活，而是選擇壓縮當前時間點激活與之前激活的變化，它在不降低模型質量的情況下，能在較慢的網絡中以4.3倍的速度訓練或微調DeBERTa和GPT2-1.5B。最后，陳貝迪將概述未來三個研究方向——機器學習模型處理與學習數據效率的提高、軟硬件協同設計以及機器學習在基礎科學中的應用。

【本期嘉賓】

陳貝迪  FAIR研究科學家、卡內基梅隆大學助理教授（2023年即將任職，目前正在招收博士生）

曾任斯坦福大學博士后研究員，于2020年獲萊斯大學計算機科學博士學位，2015年獲加州大學伯克利分校學士學位，研究重點為高效深度學習，設計并優化了當前硬件上的隨機算法，以加速大型機器學習系統。她曾被MIT和UIUC選為EECS Rising Star（電子工程與計算機新星），論文曾獲得ICML 2022 Outstanding Papers Runner Up（杰出論文獎第二名）。

【主持人】

孫鵬  上海人工智能實驗室青年科學家

上海人工智能實驗室學術論壇

“上海人工智能實驗室學術論壇”為此前“青年學術論壇”的全新升級版論壇。新版論壇分設“星河Talk”與“星啟Talk”兩個主題系列活動，將分別邀請全球頂尖教授和青年研究者作為嘉賓，線上線下分享學術成果、探討科技前沿。更多精彩內容，敬請期待。