龔克：下一階段AI基礎研究應主攻“可解釋性” | 浦江AI評論第③期

近年來，人工智能作為一個通用技術正越來越多地和實體經濟相融合；與此同時，AI正成為科學研究的一個重要工具。這些進展的背后，是AI算法的進步。過去三年間，有關算法的研究在持續發展，并且應用領域越來越廣泛。在“2021世界人工智能大會-科學前沿全體會議”上，世界工程組織聯合會主席、中國新一代人工智能發展戰略研究院院長龔克分享了他關于人工智能算法發展的看法。

        龔克認為，盡管已有上述成果，但無論是深度學習體系的創新，還是多種學習方式的融合創新，或是對已有算法進行解釋性增強的研究進展，具備理解能力的算法模型目前尚未顯現。然而，算法的可解釋性涉及AI系統的可理解、可靠、透明、問責等一系列可信性要求，為此，他呼吁把可解釋性作為下一階段AI算法基礎研究的主攻方向。

AI加速與實體經濟相融合

        在2018年、2019年和 2020年這三年間，我們持續地觀察人工智能產業的發展，把人工智能產業主體之間在技術的輸入輸出、資金的輸入輸出以及人才流動三個方面的關系連接起來，構成了一個復雜的價值網絡圖。可以看出，圖中較大的節點連接的小點特別多，在這里面起到重要的連接作用，（這些大節點）都是一些主導型的企業，它們從BAT這樣互聯網公司越來越多地過渡到實體經濟。從這里可以觀察到的是，AI作為一個通用的技術正在越來越多地和實體經濟相融合。

AI加速與實體經濟相融合

AI成為科學研究的有力工具

        另外一個觀察，就是AI正在成為科學研究的一個非常重要的工具。舉兩個例子，一是DeepMind開發的AlphaFold2所預測生成的蛋白質折疊三維圖，這張圖過去通常是要用X射線衍射儀等精密儀器測量和非常耗時耗力的計算等等才能做出來，現在它已經達到了最先進科學實驗手段可以達到的同樣水平，被《自然》評價為解決了"困擾生命科學50年的問題"，是一個非常重大的進展。特別是，不久前AlphaFold2實現了開源，引起了生命科學界的震動。

    AI成為科學研究有力工具

        第二個例子是 DeepMind開源了FermiNet來解薛定諤方程。薛定諤方程因計算量大，在過去100年間一直是一個比較難解的方程，而去年開源的FermiNet可以近似地求解薛定諤方程，為解決困擾科學界的重大問題提供了非常有力的工具。不久前，德國柏林大學的科學家用基于機器學習的波函數擬設的方法提出了更精確的薛定諤方程的解。以上例子說明了人工智能不僅存在于我們的交談、會話和機器人的應用，而且成為了科學研究非常重要的工具。

AI算法研究持續發展

        所有這些進展的背后是什么呢？是算法的進步。當我們在WOS（Web of Science）搜索Machine Learning、Neural Network、Deep Learning等詞匯可以發現，在過去三年間有關算法的研究在持續地發展，且應用領域越來越廣泛。我們關心的不僅是它的應用領域廣泛，還關心算法本身有沒有重要的新進步。

        怎么來觀察它的進步呢？

        第一，是在突破數據瓶頸方面的發展。

2017年，中國推出了《新一代人工智能發展規劃》，這個規劃是2017年到2030年的中長期規劃。當時，中國科學院的一個報告提出過人工智能面臨著六個瓶頸（此處引用的是當時中科院專家的PPT）。首先，我們這一代人工智能是大數據驅動的人工智能，數據的可獲得性、質量、標注的成本等是制約人工智能發展的第一個瓶頸。

在突破數據瓶頸方面的進展

        解決這個瓶頸目前有哪些重要的進展呢？非常令人高興的是，在過去一年，已經有了比較明顯的進展。以現在正在被大量使用的GPT-3預訓練模型為例，這樣一個大型自然語言模型的推出和開放，使得數據方面有了一個非常強大的工具，而且我個人感覺像GPT-3這樣的工具不僅在自然語言方面，將來也會針對圖像以及其他方面推出預訓練模型。

        還有一個我認為比較重要的進展，我們過去總是擔心數據的質量，特別在語音方面有大量的噪聲。在過去一年里，深度殘差收縮網絡以及基于對比學習的自監督學習模型的推出也解決了數據質量和成本的問題。具體而言，深度殘差收縮網絡引入了注意力機制（Attention Mechanism），通過注意力機制可關注到那些重要的特征，再通過軟閾值函數把不重要的特征置為零，從而提高了抗噪的能力，解決了數據的質量問題。

        另外，基于對比學習（Contrastive Learning）的無監督或自監督學習模型，緩解了現在數據標注需要大量的人力及成本的問題。這些例子代表著我們在突破數據瓶頸方面的努力已取得了令人矚目的進展。

        第二，是在突破能效瓶頸方面的發展。

        人工智能的發展還有一個重要的瓶頸，就是它的能效。幾年前在夏季達沃斯論壇期間有個關于AlphaGo的小型研討會，李世石也參加了。在談到機器人棋手與人類棋手的差別時，他認為，與機器人棋手下棋的感受不像和人類棋手下棋，沒有“手談”的感覺；此外，他還提到了棋手的能耗問題，AlphaGo的能耗是人類棋手的上千倍，人吃那點飯折算成標準煤（通常把能耗折算成標準煤來比較）是可以忽略的，但是人工智能計算機的能耗非常大。所以，我覺得能耗是AI發展的剛性約束。

在突破能效瓶頸方面的進展

        在過去一年中，突破能效的瓶頸方面也有值得關注的進展。比如說，不久前麻省理工學院、維也納工業大學、奧地利科技學院共同發布了一個自動駕駛類腦模型，這個類腦模型只用了19個神經元就實現了控制自動駕駛汽車。當我第一次看到這個模型時，覺得是不是數量級印錯了，后來證實確實就只用19個（神經元），而傳統的深度神經網絡模型則需數百萬級的神經元。如果能進一步發展下去，從能效上來講至少提高了兩個數量級。

        再看一個例子，去年清華大學張悠慧團隊提出的 “類腦計算完備性”概念，在《自然》發表以后受到了很大的關注。從前面的例子看到，類腦計算的能效會比傳統深度學習要高得多，但是類腦的計算到現在為止的發展更多地是和特定應用（Application Specific）聯系得比較密切，而且它和硬件是co-design（協同設計）的，這樣一來就產生了可轉移性方面的困難。

        “類腦計算完備性”概念的提出，使得類腦計算系統變成一個通用的平臺，可以把軟硬件進行一定的分離，這在通用化上前進了一大步，可使類腦的方案更廣泛地應用到不同場景，對于破解類腦計算系統存在的軟硬件緊耦合問題而言是一個突破性的方案。

        北京大學也做了一個非常重要的工作，這個工作利用了一類新的器件——相變存儲器（PCM），它的電導是具有隨機性的，做成的神經網絡高速訓練系統有效地緩解了傳統神經網絡訓練過程中時間、能耗巨大并難以在芯片上實現的問題。這個工作去年發表在IEDM（第66屆國際電子器件大會）上，這是一個電子學方面非常重要的會議，也是一個引人矚目的進展，說明我們在解決人工智能的能效瓶頸方面已經取得了一些比較令人矚目的進展。

        第三，是在突破可解釋性瓶頸方面的發展。

        隨著人工智能的快速應用，人們對可信任的人工智能的呼聲越來越高，我個人覺得要使人工智能可信任，首先要讓它做到可解釋，在可解釋性方面如果能夠突破的話，就可以突破可靠性以及可轉移的問題。在這一方面，過去一年中我們看到了什么樣的進展呢？

    在突破可解釋性瓶頸方面的進展

我們看到，比如說《Geometric Understanding of Deep Learning》這篇文章是發表在中國工程院辦的《Engineering》雜志上，由清華大學、北京大學、哈佛大學和加州大學伯克利分校等共同完成的一項工作。它主要針對生成對抗網絡（GAN），通過幾何的映射找到了生成對抗網絡里面的生成器和判決器之間的關系，進而找到了模型坍塌的原因，并提出了一個改進的模型，這不能說在解決可解釋瓶頸上獲得了突破，但卻是一個非常有意義的進展，是從數學的角度解決可解釋性問題的進展。

        再如，2020年7月，柏林工業大學和康奈爾大學的團隊奪得了SIGIR 2020最佳論文獎，題目是關于一個公平無偏的排序系統（《Controlling Fairness and Bias in Dynamic Learning-to-Rank》），那怎么做到無偏排序系統，這里引入了因果學習。這些年關于因果學習的研究工作很多，但是能達到這樣的成就我認為是非常值得稱贊的，說明我們從過去簡單認識數據的相關性、關聯性到（如今）探索它的因果性取得了非常重要的進步，是實現可解釋性的一個非常重要的途徑。

        但所有的這些結果，特別是在可解釋方面，無論是一些新的深度學習體系的出現，還是對有關體系的融合創新所作出的努力，我個人認為，這些還未能提供一個比較系統性的、可解釋和可廣泛使用的深度學習模型方案，比方說對CNN（卷積神經網絡）的研究有不同的研究路線，也有一定程度的進展，但還沒有達到對整個機器學習這一類，數據驅動的機器學習算法這一類實現可解釋。

        再打個比方，（用機器）來辨別到圖中到底是貓還是狗，現在的方法是使用標注好的測試集來證明，其準確度可以達到98%，但是我希望將來會有一個數學歸納的證明，不僅是用1、2、3……去驗證算法是對的，而是對于任意的“n”和“n+1”也是對的，通過嚴格的數學證明可以讓我們徹底相信它。

        最后，我想引用霍金的話結束我今天的發言，強烈地呼吁把可解釋性作為我們下一段AI領域基礎研究的主攻方向，爭取在不久的將來能夠為AI的進一步廣泛應用提供一個堅實的可信基礎，從而實現霍金在臨終前囑咐我們的——“讓人工智能造福人類及其賴以生存的家園”。

        謝謝各位。