共建AI基礎軟硬件生態，OpenMMLab浦視支持昇騰AI處理器

繼去年9月與昇騰AI簽署協議正式合作，上海人工智能實驗室近期完成了OpenMMLab浦視視覺開源算法庫在昇騰AI處理器的訓練與部署，逐步實現對昇騰的全面支持。

目前，用戶可在昇騰910 AI處理器進行OpenMMLab算法庫模型訓練，并將其部署在昇騰310 AI處理器上進行推理。雙方的合作將賦能開發者基于OpenMMLab和昇騰軟硬件平臺進行人工智能應用的高效開發、部署，促進更多業務場景的技術創新和生態共贏。

OpenMMLab浦視視覺算法開源體系是深度學習時代計算機視覺領域最全面、最具影響力的開源算法體系。旨在為學術和產業界提供可跨方向、結構精良、跨站性強、易復現的統一算法工具庫。目前，OpenMMLab已經累計開源了超過30個算法庫，涵蓋分類、檢測、分割、視頻理解等眾多算法領域，擁有超過300種算法實現、2400多個預訓練模型。在GitHub上獲得超過7.2萬個標星，同時吸引了超過1500名社區開發者參與項目貢獻，用戶遍及110個國家和地區，覆蓋全國全球頂尖高校、研究機構和企業。

OpenMMLab浦視視覺算法開源體系

昇騰CANN是專門面向AI場景的異構計算架構，同時作為昇騰AI基礎軟硬件平臺的核心組成部分之一，搭起了從上層深度學習框架到底層AI硬件的橋梁，全面支持昇思MindSpore、飛槳（PaddlePaddle）、PyTorch、TensorFlow、Caffe、計圖（Jittor）等主流AI框架，提供900多種優選模型，能夠覆蓋眾多典型場景應用，兼容多種底層硬件設備，提供強大異構計算能力。

昇騰全棧AI軟硬件平臺

“隨著OpenMMLab對昇騰逐步實現全面適配，雙方將覆蓋更多典型場景應用，兼容更多的底層硬件設備并提供更強大的異構計算能力。“上海人工智能實驗室教授林達華表示，“實驗室目前已發布‘浦源’人工智能開源開放體系，推動人工智能對產學研各領域全面賦能，為構建人工智能開放生態，推動人工智能科研與技術突破、交叉創新和產業落地提供全方位的算法與平臺支撐。”

【訓練成果】

目前，OpenMMLab已在昇騰AI處理器上實現了基礎庫（MMEngine、MMCV）及算法庫（圖像分類MMClassification、目標檢測MMDetection）的適配，并支持基于昇騰AI處理器的訓練加速。

OpenMMLab算法庫的架構共包含五個層級：訓練處理器、深度學習框架、基礎庫、視覺算法庫及部署框架。在深度學習框架層，由昇騰團隊對PyTorch進行適配；在基礎庫層，由雙方合作添加OpenMMLab算法庫對昇騰設備的訓練支持。

OpenMMLab算法庫架構

截至目前，針對昇騰910 AI處理器，視覺基礎庫MMCV、分類算法庫 MMClassification、目標檢測算法庫MMDetection已分別實現16個算子、10個模型和9個模型的支持。

【部署成果】

MMDeploy作為OpenMMLab的推理部署工具，可將OpenMMLab算法部署到多種軟硬件平臺上。具備靈活框架適配度的昇騰異構計算架構CANN與 MMDeploy相結合，不但擴充了OpenMMLab算法推理后端，幫助開發者快速構建AI應用和業務，還能充分發揮昇騰AI硬件算力，加速推理業務的執行。

MMDeploy架構圖

Model Converter作為MMDeploy的模型轉換模塊，通過onnx2cann將前端模型轉換為昇騰AI硬件支持的模型格式，然后送入MMDeploy的Inference SDK模塊，調用CANN的AscendCL應用開發接口完成推理任務在昇騰AI硬件上的執行。

基于MMDeploy和CANN的推理部署框架

通過MMDeploy和CANN的對接適配，目前已驗證包含OpenMMLab 4個算法庫在內的18個流行的視覺算法可直接在昇騰AI處理器上運行。

未來，隨著OpenMMLab和昇騰合作的不斷深入，雙方將支持更多算法庫的訓練和推理，并持續優化性能。同時，也歡迎開發者在OpenMMLab和昇騰的開源社區交流探索，以更完善的模型滿足度、更高效的推理部署方式，賦能更多人工智能場景，共同推進計算產業發展與生態構建。