實驗室第26期“青年學術論壇”開講 | 活動預告

6月22日上午，上海人工智能實驗室“青年學術論壇”（第26期）開講。論壇不定期邀請全球頂尖AI青年學者分享其代表性工作，本期嘉賓是北京大學助理教授賀笛，他將帶來《Your Transformer May Not be as Powerful as You Expect》的主題演講，介紹團隊開發的基于通用RPE(URPE)的Transformer。

【講座簡介】

相對位置編碼(RPE)能夠將任意一對標記之間的相對距離進行編碼，這是最常用的Transformer變種編碼之一。在本工作中，賀笛團隊理論分析了基于相對位置編碼Transformer模型的能力，并表明現有變種存在無法近似的空間。團隊發現其中一個關鍵原因在于該方法總是放在正確的隨機矩陣的Softmax Attention中，這限制了網絡捕獲RPE中的位置信息。為了解決該問題，團隊開發了一種新穎的基于通用RPE(URPE)的Transformer來克服實踐中的限制。

【本期嘉賓】

賀迪，北京大學智能學院助理教授，曾任微軟亞洲研究院主管研究員。其研究方向涉及NLP、GNNs以及利用機器學習技術探索科學領域，在機器學習頂級國際會議 ICML、NeurIPS、ICLR 上發表數十篇論文。其團隊設計的圖神經網絡 Graphormer 在 KDD 2021 分子性質預測挑戰賽及 NeurIPS 2021 分子動力學模擬挑戰賽中擊敗包括 DeepMind、Facebook AI Research 等對手奪冠。

【主持人】

許晶晶，上海人工智能實驗室青年科學家。其主要研究方向為自然語言處理和機器學習，已在國內外知名學術會議如NeurIPS、ICML、ACL、EMNLP等發表多篇一作論文，曾入選AAAI 2021 New Faculty Highlights并獲得ACL 2021最佳論文。

【參與方式】

活動時間：2022年6月22日  10:00-11:00

線上小魚會議號：9005124626