上海AI實驗室 CVPR 2023 Tutorial｜活動預告

2023年度國際計算機視覺與模式識別會議（CVPR 2023）召開在即，上海人工智能實驗室（上海AI實驗室）將舉辦CVPR Tutorial研討會，以“Boosting Computer Vision Research with OpenMMLab and OpenDataLab”為主題，誠邀計算機視覺研究者、實踐者參會，探討人工智能開源算法、數據平臺等業界共同關注的相關課題。

上海AI實驗室在2022世界人工智能大會上發布“OpenXLab浦源”人工智能開源開放體系，其中包含OpenMMLab浦視視覺算法開源體系和OpenDataLab浦數人工智能開放數據平臺等九大開源項目。OpenMMLab和OpenDataLab自誕生以來，致力于推動計算機視覺的研究和應用。通過提供豐富的軟件庫和開放數據集，積極推動了計算機視覺技術的開發和創新。

本次 CVPR Tutorial 將深入探討如何利用 OpenMMLab 和 OpenDataLab 的工具和資源，以推動計算機視覺研究效率。上海AI實驗室青年科學家陳愷、何聰輝，青年研究員張松陽、曾艷紅、張文蔚受邀帶來精彩的內容分享。

活動時間

UTC+8 中國：00:00—03:00 AM（6 月 19 日）

UTC-7 加拿大：09:00 —12:00 AM（6 月 18 日）

參與方式

線下：CVPR 現場

線上：ZOOM 線上會議（需注冊）

【分享主題】

Talk 1

通用、統一且靈活的開源算法平臺 —— OpenMMLab 2.0

Kai Chen   

上海AI實驗室    青年科學家

本科畢業于清華大學，在香港中文大學獲得博士學位。在計算機視覺頂級會議和期刊上發表了三十余篇論文，谷歌學術引用超過 6900 次，并多次在國際學術競賽中獲獎。其所負責的 OpenMMLab 開源項目在 GitHub 上獲得了超過 8.5萬星標，是深度學習時代極具影響力的計算機視覺開源算法體系，用戶遍及 110 個國家和地區，獲國內 600 余家企業和高校使用，在學術界和工業界產生了廣泛影響。

分享內容

第一部分：OpenMMLab 總體介紹，包括整體架構、模塊設計及其影響力。

第二部分：工具箱的基本使用和示例研究項目展示。

第三部分：展示使用 OpenMMLab 工具鏈進行模型部署，以及運用 OpenMMLab 進行研究和生產的實踐。

Talk 2

OpenMMLab 視覺基礎模型的探索——MMPreTrain

Songyang Zhang

上海AI實驗室    青年研究員

博士畢業于中國科學院大學，入選上海超級博士后計劃，目前在 OpenMMLab 團隊負責基礎模型相關的開源體系建設與算法研究。其研究方向包括基礎模型架構設計、多模態大模型和大語言模型。

分享內容

視覺基礎模型與多模態模型的最新進展及相關開源庫（MMPreTrain）。

第一部分：深度學習基礎模型及相關庫（MMPreTrain）介紹，MMPretrian 支持的各類深度學習算法，算法庫的設計思路和主要功能。

第二部分：多模態學習，多模態學習的最新進展，以及如何使用 MMPreTrain 進行各類多模態任務的具體實踐。

第三部分：基于圖像分類的基礎模型應用，如何使用 MMPreTrain 進行經典的圖像分類任務，并分享快速掌握應用基礎模型。

第四部分：基于自監督學習的基礎模型實踐，自監督學習的概念和流程，以及如何使用 MMPreTrain 進行自監督學習探索。

Talk 3

MMDetection 3.0：通用目標檢測實踐指南

Wenwei Zhang

上海AI實驗室    青年研究員

負責 OpenMMLab 計算機視覺算法開放體系中算法庫基礎架構的整體設計、 MMDetection 和 MMDetection3D 等算法庫的設計與開發。曾在頂級會議上發表 11 篇論文，獲 2019 年目標檢測領域權威學術競賽 COCO比賽第一名，2020 年 3D 目標檢測領域權威競賽 nuScenes 比賽 Best PKL Award。

分享內容

如何高效地運用 MMDetection 3.0 進行與目標檢測相關的研究項目。

第一部分：目標檢測、實例分割和全景分割。深入探討上述領域的問題定義、挑戰和代表性方法，展現目標檢測全景。

第二部分：MMDetection，即 OpenMMLab 檢測工具箱和基準測試、目標檢測中最受歡迎的工具箱之一，也是 MMDetection3D 和 MMTracking 等許多工具箱的基礎。深入講解 MMDetection 3.0 的模塊化設計和模型庫。

第三部分：介紹 OpenMMLab 的檢測工具箱 MMDetection，它不僅是目標檢測中最受歡迎的工具箱之一，也是許多其他工具箱（如 MMDetection3D 和 MMTracking）的基礎。深入講解 MMDetection 3.0 的模塊化設計和其豐富的模型庫。同時，通過實踐教程展示如何使用 MMDetection 3.0 進行模型推斷和訓練以促進研究項目。

Talk 4

MMagic —— 圖像與視頻生成、編輯和增強的魔法之旅

Yanhong Zeng

上海AI實驗室    青年研究員

在 OpenMMLab 團隊負責圖像視頻生成與編輯相關的開源體系建設與算法研究。

中山大學計算機科學與技術博士。博士期間參與中山大學-微軟亞洲研究院聯合培養項目，師從朝紅陽教授和郭百寧博士，研究方向為圖像和視頻的生成與編輯。迄今在頂級國際學術期刊與會議上發表多篇論文，包括 CVPR、ECCV、NeurIPS、TVCG等；同時曾擔任多個國際頂級會議和期刊的審稿人，包括 ICML、ICLR、NeurIPS、CVPR、TIP、TVCG 等，2022年獲評 ICML Outstanding Reviewer。

分享內容

前沿開源工具箱 MMagic，以及圖像和視頻生成、編輯和增強領域的先進研究成果。

第一部分：圖像和視頻生成、編輯和增強任務，領域中經典且受歡迎的任務、挑戰以及最先進的方法。

第二部分：開源工具箱和基準測試MMagic如何為圖像和視頻生成、編輯和增強領域的各種任務（如圖像超分辨率、文本到圖像等）、模型（如 GAN、擴散模型等）提供統一而靈活的解決方案；以及MMagic 的整體設計和實現。

第三部分：如何使用 MMagic 快速運行預訓練模型及如何為不同任務設計全新模型。

Talk 5

OpenDataLab —— 一個面向人工智能的開放數據平臺

Conghui He

上海AI實驗室    青年科學家

OpenDataLab團隊負責人

清華大學博士，曾于斯坦福大學和倫敦帝國學院訪學。曾任騰訊微信的高級研究員。目前帶領OpenDataLab 團隊致力于 AI 數據領域的研究，并建立具有影響力的開放數據和開源項目。其主要研究包括高性能計算、可重構計算、分布式計算、計算機視覺等。在 ICCV、TC、 SC、 FPGA、 FCCM、FPL、FPT 等學術會議上發表多篇論文，并為 FPT 會議擔任審稿人。曾贏得 IEEE/IBM Smarter Earth Challenge 全球冠軍和 Gordon Bell 獎（高性能計算應用領域的最高獎項）。

分享內容

OpenDataLab的整體介紹，包括開放數據集平臺、開源數據處理工具包和數據集描述語言（DSDL），OpenDataLab 支持的開源數據工具包相關的研究工作，以及探索定義數據集描述語言以及如何使用它來規范不同任務、格式和模態的數據集。

浦視學術俱樂部

自 2018 年開源以來，OpenMMLab 系列算法庫在 Github 上已獲得了超過 8.5 萬 星標。高質量的代碼和文檔、多樣化的模型和算法以及強大的社區支持為開發者們提供了便利的平臺，OpenMMLab 作為“學術利器”吸引了眾多學者和從業者的關注，他們紛紛加入共同建設社區。

基于此，上海AI實驗室浦視開源體系發起了人工智能領域學術社群——浦視學術俱樂部，旨在通過學術直播、論文分享、線下研討會等形式促進人工智能領域學者之間的互動交流，推動學術研究的發展，為人工智能領域的科研同仁搭建高知圈層。