實驗室第二期“青年學術論壇”｜學術交流

8月11日上午，上海人工智能實驗室“青年學術論壇”（第二期）開講。此次我們邀請了美國羅切斯特大學的張宋揚、清華大學邱劍濤以及北京大學李祥泰，帶來關于“視頻輔助的無監督句法分析”（NAACL 2021 Best Long Paper）、“針對基于深度強化學習的多機器人系統關鍵技術研究”以及“用于分割領域的對齊特征學習”等主題的學術報告。

香港大學計算機系助理教授、上海人工智能實驗室顧問孔令鵬擔任本期論壇的主持人。孔教授主要從事機器學習，最優化方法、組合算法在自然語言理解、機器翻譯等領域的應用研究。在學術分享過程中，實驗室研究員與青年學者進行了深入的交流和探討。

張宋揚-美國羅切斯特大學計算機科學博士

報告題目：視頻輔助的無監督句法分析

報告主要介紹了其在NAACL 2021獲得“最佳長論文”的工作成果——視頻輔助的無監督句法分析，即在從未標記的文本及其相應的視頻中學習句法分析。論文以復合 PCFG 模型（Kim 等人，ACL 2019）為基準，從樣本視頻中探索了豐富的特征（例如動作、目標、場景、音頻、面部、OCR 和語音等），并提出了一個多模態復合 PCFG 模型（MMC-PCFG模型）來有效地聚合來自不同模態的豐富特征。MMC-PCFG模型經過端到端訓練，在三個基準（即DiDeMo、YouCook2和MSRVTT）上的表現優于每個單獨的模態和此前最先進的系統，證實了利用視頻信息進行無監督語法歸納的有效性。

邱劍濤-清華大學電子工程系博士

報告題目：針對基于深度強化學習的多機器人系統關鍵技術研究

報告主要介紹了其在NAACL 2021獲得“最佳長論文”的工作成果——視頻輔助的無監督句法分析，即在從未標記的文本及其相應的視頻中學習句法分析。論文以復合 PCFG 模型（Kim 等人，ACL 2019）為基準，從樣本視頻中探索了豐富的特征（例如動作、目標、場景、音頻、面部、OCR 和語音等），并提出了一個多模態復合 PCFG 模型（MMC-PCFG模型）來有效地聚合來自不同模態的豐富特征。MMC-PCFG模型經過端到端訓練，在三個基準（即DiDeMo、YouCook2和MSRVTT）上的表現優于每個單獨的模態和此前最先進的系統，證實了利用視頻信息進行無監督語法歸納的有效性。

李祥泰-北京大學計算機科學博士

報告題目：用于分割對齊的特征學習

圖像和視頻分割是計算機視覺中的基礎任務，不僅包括語義分割、實例分割、全景分割，還包括一些應用場景下的分割任務，諸如人遙感圖像分割、透明物體分割等。這些任務在自動駕駛、人像分割、機器人導航等很多場景下有著廣泛的應用。本次報告以對齊特征學習為主線，從三個不同的方面，系統地回顧了其最近兩年在分割領域的探索：

1. 學習對齊的特征金字塔

2. 學習對齊的分割邊緣特征

3. 學習對齊的時序特征表達

對齊的特征表達有助于改善最終的分割結果，做到實時和高精度，并有利于相關的下游任務研究，比如視頻的目標檢測和視頻的實例分割。