新聞動態

                Dynamics

                首頁 >  新聞動態  > 詳情

                顧全全:理解深度學習中的專家混合模型 | 首期“星河Talk”活動預告

                10月27日,“上海人工智能實驗室學術論壇”第1期“星河Talk”將正式開講。本期活動邀請到加利福尼亞大學洛杉磯分校副教授顧全全,帶來主題為《理解深度學習中的專家混合模型》的報告。

                “上海人工智能實驗室學術論壇”為此前“青年學術論壇”的全新升級版論壇。新版論壇分設“星河Talk”與“星啟Talk”兩個主題系列活動,將分別邀請全球頂尖教授和青年研究者作為嘉賓,線上線下分享學術成果、探討科技前沿。名家云集“星河”燦爛,新秀冉冉“星啟”未來,兩大系列活動將陸續帶來更多精彩內容,敬請期待。


                【第1期“星河Talk”】

                活動詳情

                分享主題:理解深度學習中的專家混合模型

                分享嘉賓:顧全全 美國加州大學洛杉磯分校副教授

                主持人:李怡康 上海人工智能實驗室雙聘青年科學家

                活動時間:北京時間 10月27日(周四)10:30-11:30

                參與方式:騰訊會議 443 238 513


                講座簡介

                專家混合模型(MoE)是一種由路由器控制的稀疏激活模型,它在深度學習中獲得了巨大的成功。然而,要理解此類架構其實是比較困難的。在此次論壇中,顧全全將著重分享專家混合模型是如何提升神經網絡學習性能的,以及混合模型為何不會坍塌為一個單模型。實證結果表明,潛在問題的聚類結構和專家的非線性是專家混合模型成功的關鍵,這促使團隊考慮一個具有內在簇結構的分類問題。團隊從理論上證明,這個具有挑戰性的分類問題很難由單個類似雙層卷積神經網絡(CNN)的專家來解決,但使用MoE,每個專家都是兩層CNN,可以成功地解決問題。據了解,這是第一個正式理解深度學習MoE機制的理論成果。


                本期嘉賓

                顧全全 美國加州大學洛杉磯分校副教授

                顧全全現任美國加州大學洛杉磯分校副教授,2014年博士畢業于伊利諾伊大學厄巴納-香檳分校,長期從事人工智能和機器學習相關研究,重點開發和分析機器學習中的非凸優化算法,以理解大規模、動態、復雜和異構的數據,并為深度學習奠定理論基礎。

                顧全全是2022年斯隆研究獎獲得者。此前,他曾于2015年獲得“雅虎學術職業發展獎”,并于2017年獲得美國自然科學基金委的“杰出青年學者成就獎”。

                主持人

                李怡康 上海人工智能實驗室雙聘青年科學家,上海交通大學博士生行業導師

                2cd081270c24bd2bcd2931e121b6177.jpg

                comm@pjlab.org.cn

                上海市徐匯區云錦路701號西岸國際人工智能中心37-38層

                滬ICP備2021009351號-1

                        
                        

                              拔萝卜又叫又疼原声视频