“星啟Talk” 第2期：擴散概率模型的理論及應用 | 活動預告

        12月14日，“上海人工智能實驗室學術論壇”將舉辦第2期“星啟Talk”。本期邀請到清華大學在讀博士生鮑凡、路橙，帶來主題報告《擴散概率模型的理論及應用》。“星啟Talk”不定期邀請全球杰出青年學者，分享在人工智能相關領域的代表性工作。

    【“星啟Talk”第2期】

        活動詳情

        主題：擴散概率模型的理論及應用

        嘉賓：鮑凡、路橙  清華大學在讀博士生 

        主持人：戴勃  上海人工智能實驗室青年科學家

        時間：北京時間 12月14日20:00-21:00

        參與方式：騰訊會議 696673195

        講座簡介

        本次講座，兩位嘉賓將分別介紹清華大學教授朱軍課題組關于擴散概率模型的兩個代表性進展：

        首先，鮑凡將圍繞《Analytic-DPM: an Analytic Estimate of the Optimal Reverse Variance in Diffusion Probabilistic Models》展開介紹。該工作給出了擴散概率模型逆向過程最優均值和最優方差的解析解，該解析解表明最優均值和最優方差均由得分函數決定。因此，一個預訓練好的得分模型便可同時估計最優均值和最優方差。此外，根據該解析解的形式，團隊能界定出最優方差的上下界，并且在數值上表明該上下界是緊的。在實際中，通過估計最優的方差能提升模型在密度估計上的性能，并顯著提升模型的采樣速度。

        接下來，路橙將圍繞《DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps》展開講解。該工作從數學上推導出了擴散常微分方程模型（diffusion ODEs）的極其簡潔解的形式，并基于該形式設計了誤差盡可能最小的高階常微分方程求解器，稱為DPM-Solver。DPM-Solver無需任何額外訓練，并同時適用于連續時間情形與離散時間情形的擴散模型。實驗結果表明，DPM-Solver可在20步左右達到幾乎收斂的采樣，甚至在10步左右也可以生成較高質量的圖片，在不同分辨率的數據集中都取得了顯著優于已有算法的加速效果。

        本期嘉賓

        鮑凡  清華大學在讀博士生

        在擴散概率模型上取得突出成果，以一作身份發表的論文《Analytic-DPM: an Analytic Estimate of the Optimal Reverse Variance in Diffusion Probabilistic Models》獲得世界級學術獎項ICLR 2022杰出論文獎，是該會議首篇且唯一一篇由中國大陸單位獨立完成的獲獎論文。該項目產生了廣泛的影響力，作為核心技術被應用于OpenAI發布的超大規模跨模態生成模型DALL·E 2上。他積極探索擴散概率模型的應用場景，在擴散模型的加速、可控生成、基本架構方面產出近十篇論文，為理論研究及實踐應用做出出色貢獻。

        路橙  清華大學在讀博士生

        致力于研究擴散概率模型的底層原理與算法，以一作身份發表的論文《DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps》獲得Neurips 2022 Oral（接受率約1.7%），是目前擴散模型無需額外訓練的最快的采樣算法，項目在各大開源社區產生廣泛影響，已在Github獲得超500星標，并被擴散模型主流庫Diffusers支持。該算法在Stable-Diffusion上僅僅使用20-25步就可生成極高質量的圖片，是目前Stable-Diffusion在HuggingFace Spaces的官方示例的默認采樣算法，在DreamStudio、StableBoost、Stable-Diffusion-WebUI等各大text-to-image項目中為公認的加速效果最好的算法。他積極探索擴散概率模型的底層原理，在擴散常微分方程模型的最大似然訓練算法、高階去噪得分匹配算法等方面做出重要理論貢獻。

        主持人

        戴勃  上海人工智能實驗室青年科學家

        上海人工智能實驗室學術論壇

        “上海人工智能實驗室學術論壇”為此前“青年學術論壇”的全新升級版論壇。新版論壇分設“星河Talk”與“星啟Talk”兩個主題系列活動，將分別邀請全球頂尖教授和杰出青年學者作為嘉賓，線上線下分享學術成果、探討科技前沿。更多精彩內容，敬請期待。