上海AI實驗室開源全球首個醫療基礎模型群，引領“醫療大模型時代”

大模型的快速發展突破了人工智能技術的邊界，也為眾多垂直領域帶來新的發展機遇和挑戰。在醫療領域，愈來愈多業內人士共同關注同一個課題——如何通過人工智能大模型為醫生和研究人員提供新工具、新方法，以改善疾病診斷、治療和預防。

6月29日，由上海人工智能實驗室（上海AI實驗室）牽頭，并聯合國內外頂級科研機構、高校及醫院共同發布全球首個醫療多模態基礎模型群“OpenMEDLab浦醫”。

上海人工智能實驗室智慧醫療研究中心主任張少霆表示，“‘OpenMEDLab浦醫’的問世，為人工智能大模型在醫療領域的快速發展、高效落地提供了堅實的基礎，將帶動醫療領域的一系列創新，如模型即服務（MaaS）等模式。隨著人工智能在醫療領域落地應用范圍的擴大，大模型將更好地賦能醫生、服務患者，助力‘健康中國2030’戰略目標的實現。”

“OpenMEDLab浦醫”將于近期逐步開源，覆蓋醫學圖像、醫學文本、生物信息、蛋白質工程等10余種醫療數據模態，促進基于醫療基礎模型的跨領域、跨疾病、跨模態科研突破，同時助力解決醫療領域的長尾問題，推動醫療大模型的產業落地。

開源鏈接：https://github.com/OpenMEDLab

“OpenMEDLab浦醫”基礎模型群將于近期逐步開源，覆蓋10余種醫療數據模態

【聯合頂尖機構，共建多模態醫療大模型】

作為牽頭單位，上海AI實驗室聯合了多個國內外組織共同參與開源“OpenMEDLab浦醫”基礎模型群，包括廣州實驗室、之江實驗室等頂尖科研機構，上海交通大學、復旦大學、電子科技大學、華東理工大學、北京郵電大學、美國羅格斯大學、英屬哥倫比亞大學、香港中文大學等高校，以及上海交通大學醫學院附屬瑞金醫院、上海交通大學醫學院附屬新華醫院、四川大學華西醫院、鄭州大學第一附屬醫院等醫療機構。

“OpenMEDLab浦醫”融合了全球頂尖的AI研發能力、海量醫學數據以及醫學專家知識，首批發布的基礎模型群中，包含基于醫學圖像、醫學文本、生物信息、蛋白質工程等10余種數據模態訓練而成的基礎模型。在語言模型方面，“OpenMEDLab浦醫”開源了由上海AI實驗室與上海交通大學、華東理工大學合作開發的中文醫療語言大模型，基于海量醫學知識和真實醫患互動對話數據，可提供導診、問診、健康咨詢、輔助決策等多場景多輪會話能力。聯合團隊對多個語言大模型的醫療能力進行了系統的對比評測，評測代碼及數據已公布。在圖像方面開源的一系列模型群，可針對放射影像、病理圖像、內鏡、超聲等不同影像模態，實現高精度的檢測、分割、分類等前沿研究和臨床任務，高效賦能解決基于醫學影像的臨床任務，模型具有輕量級的特點，能滿足創新研究的臨床部署與便捷應用。在生物醫藥方面，“OpenMEDLab浦醫”同樣大有可為。例如由上海AI實驗室和上海交通大學共同研發的蛋白質序列大模型，通過融合生物醫學專業知識，可助力設計合成高穩定性高生物活性蛋白質，解決蛋白類新藥研發過程中普遍存在的耗時長、耗費高等難題。為了方便開發者使用，“OpenMEDLab浦醫”開源平臺在提供基礎模型下載的同時，還提供了下游任務應用范例、測試數據、對應標注和評價指標，幫助開發者全流程高效使用基模型開展研發工作。此外，為推動產學研協作，深化醫學圖像分析基礎模型的可行性探索，上海AI實驗室發起《〈Medical Image Analysis〉基礎模型特刊》與NeurIPS 2023醫學圖像分析基礎模型應用挑戰賽，向全球人工智能及醫療領域的研究人員和機構發出“英雄帖”，通過 “一刊一賽”，進一步推動醫療基礎模型的研究和應用。

【突破小樣本、弱標注瓶頸，解決醫療長尾問題】

近年來，超大參數深度學習基模型在計算機視覺（CV）、自然語言處理（NLP）等領域獲得突破性進展，能夠基于大模型的超強泛化能力應用于許多下游任務的分析。然而醫學數據在數據模態、成像模式、圖像特征等方面種類繁多、差別較大，使得通用大模型難以在醫學圖像分析方面實現令人滿意的性能。在高度關注數據私密性的醫療機構中，落地部署也存在較大困難，當前，針對特定任務進行單獨模型訓練依然是該領域主流的解決方案。然而，醫療下游長尾任務的數據樣本少、標注難度高，這也限制了人工智能在更多醫療場景的應用。

如何將CV、NLP通用大模型“為我所用”，并發展出更適合醫療場景的基礎模型，上海AI實驗室首創了多層級、多場景、高精度、可落地的醫療基礎模型群“OpenMEDLab浦醫”。首先，基于CV、NLP大模型對醫療圖像和文本通用特征的學習，上海AI實驗室針對不同醫療數據模態開發了一系列基模型，例如CT、MRI、超聲、內鏡、病理、醫學文本等，以充分學習和利用不同數據模態獨有的特征和模式。基于上述多層級、多場景的基礎模型群，“OpenMEDLab浦醫”可以將先前醫學數據訓練中學習到的特征，高效應用于海量醫療下游問題中，從而實現針對不同任務的小數據、弱標注、高效率的訓練。同時，模型群兼顧性能與落地的平衡，在醫療場景中的部署應用更具便捷性，從而讓基礎模型在更多醫療長尾問題中得以落地應用。例如，上海AI實驗室聯合四川大學華西醫院和上海交通大學，分別應用預訓練得到的視覺和語言大模型，采用小樣本模型激活的算法，進行醫療圖像中多種病灶的檢測和疾病分類，得到了相較傳統遷移學習精度更高的實驗結果。這意味著，未來科研人員將能夠更好地應對小數據甚至零數據樣本的醫療生物場景。

在細分醫學圖像分析場景中需要應用不同層級和任務導向的基礎模型 

（圖片來源：S. Zhang and D. Metaxas. On the Challenges and Perspectives of Foundation Models for Medical Image Analysis. arXiv preprint arXiv:2306.05705.）

【成果落地，開啟“醫療通用大模型時代”】

醫療多模態基礎模型群的問世，為大模型賦能醫療場景帶來了更多可能。目前，“OpenMEDLab浦醫”研發團隊已與全國多家頭部三甲醫院及醫藥企業開展合作，全方位賦能醫院診療及藥物研發工作。

在上海交通大學醫學院附屬瑞金醫院，“醫學數字人”已應用于全身多部位、多器官、多模態影像的智能輔助診療，覆蓋十余個臨床方向，全方位賦能患者診療愈全流程；在四川大學華西醫院，雙方合作打造基于自動提示詞微調的視覺語言大模型，顯著提高了小樣本下的醫學圖像的檢測性能，為視覺語言大模型在醫療圖像領域提供了應用范式；在鄭州大學第一附屬醫院，雙方正合作開發醫療語言大模型，將整合海量藥學知識和專家經驗，通過線上服務為患者提供更便捷、更全面的用藥咨詢。在生物制藥領域，與多家知名藥企合作，利用基礎模型賦能蛋白質工程，助力藥品研發。