忘記密碼
10月27日,“上海人工智能實驗室學術論壇”第1期“星河Talk”將正式開講。本期活動邀請到加利福尼亞大學洛杉磯分校副教授顧全全,帶來主題為《理解深度學習中的專家混合模型》的報告。
“上海人工智能實驗室學術論壇”為此前“青年學術論壇”的全新升級版論壇。新版論壇分設“星河Talk”與“星啟Talk”兩個主題系列活動,將分別邀請全球頂尖教授和青年研究者作為嘉賓,線上線下分享學術成果、探討科技前沿。名家云集“星河”燦爛,新秀冉冉“星啟”未來,兩大系列活動將陸續帶來更多精彩內容,敬請期待。
【第1期“星河Talk”】
活動詳情
分享主題:理解深度學習中的專家混合模型
分享嘉賓:顧全全 美國加州大學洛杉磯分校副教授
主持人:李怡康 上海人工智能實驗室雙聘青年科學家
活動時間:北京時間 10月27日(周四)10:30-11:30
參與方式:騰訊會議 443 238 513
講座簡介
專家混合模型(MoE)是一種由路由器控制的稀疏激活模型,它在深度學習中獲得了巨大的成功。然而,要理解此類架構其實是比較困難的。在此次論壇中,顧全全將著重分享專家混合模型是如何提升神經網絡學習性能的,以及混合模型為何不會坍塌為一個單模型。實證結果表明,潛在問題的聚類結構和專家的非線性是專家混合模型成功的關鍵,這促使團隊考慮一個具有內在簇結構的分類問題。團隊從理論上證明,這個具有挑戰性的分類問題很難由單個類似雙層卷積神經網絡(CNN)的專家來解決,但使用MoE,每個專家都是兩層CNN,可以成功地解決問題。據了解,這是第一個正式理解深度學習MoE機制的理論成果。
本期嘉賓
顧全全 美國加州大學洛杉磯分校副教授
顧全全現任美國加州大學洛杉磯分校副教授,2014年博士畢業于伊利諾伊大學厄巴納-香檳分校,長期從事人工智能和機器學習相關研究,重點開發和分析機器學習中的非凸優化算法,以理解大規模、動態、復雜和異構的數據,并為深度學習奠定理論基礎。
顧全全是2022年斯隆研究獎獲得者。此前,他曾于2015年獲得“雅虎學術職業發展獎”,并于2017年獲得美國自然科學基金委的“杰出青年學者成就獎”。
主持人
李怡康 上海人工智能實驗室雙聘青年科學家,上海交通大學博士生行業導師