3-5微米厚的病理切片中,藏著生與死的答案,而顯微鏡下的百年傳承正在迎來AI革命。
近日,西湖大學(xué)發(fā)布全球首個融合鏡下視野和全場圖的多模態(tài)病理大模型DeepPathAI,可實現(xiàn)從樣本處理到病理報告生成全鏈路的智慧化升級,覆蓋40多個癌種。
這項歷時5年的研究成果,始于從海量文獻(xiàn)書籍的數(shù)據(jù)中“淘金”,由人工智能與生物醫(yī)學(xué)影像實驗室負(fù)責(zé)人楊林教授,帶領(lǐng)一群年輕人組成的團(tuán)隊完成。
楊林教授
目前,DeepPathAI即將在杭州市第一人民醫(yī)院“上崗”。大模型驅(qū)動的AI,正在成為病理醫(yī)生的“第二雙眼睛”和“第二個大腦”,重塑傳統(tǒng)病理工作流程。
而對于醫(yī)療資源匱乏的偏遠(yuǎn)地區(qū)來說,AI也可以成為打開公平醫(yī)療之門的一把鑰匙,讓優(yōu)質(zhì)診斷服務(wù)突破地域限制,惠及更多患者。
覆蓋40多種癌癥類型
從19世紀(jì)“細(xì)胞病理學(xué)之父”魯?shù)婪颉の籂栃ぴ陲@微鏡下觀察細(xì)胞開始,病理圖像一直是癌癥等疾病診斷的“金標(biāo)準(zhǔn)”。病理醫(yī)生通過對病理圖像的判讀,來確定患者的癌癥等級,以及將采用怎樣的治療方案。
然而根據(jù)中國腫瘤登記年報測算,目前,我國每年新發(fā)癌癥病例約為406萬,病理醫(yī)生卻只有2萬名左右,存在巨大的人才缺口。
此外,傳統(tǒng)的病理診斷,依賴顯微鏡下圖像分析,需要在億萬細(xì)胞間尋找病變的蛛絲馬跡,這一過程既耗時又易受主觀因素影響。
而AI,恰好擅長“大海撈針”。
2017年,谷歌DeepMind團(tuán)隊首次讓AI“閱讀”乳腺癌病理切片,成功識別癌變區(qū)域。當(dāng)時他們所用的深度神經(jīng)網(wǎng)絡(luò)框架,便是基于戰(zhàn)勝了人類圍棋冠軍的AlphaGo。
8年后,楊林團(tuán)隊走得更遠(yuǎn)——聯(lián)合多家頂尖醫(yī)療機(jī)構(gòu),整合百萬級多模態(tài)數(shù)據(jù),自主研發(fā)臨床級多模態(tài)病理大模型DeepPathAI,可支持宮頸癌、肺癌、乳腺癌、胃癌等40多種癌癥類型的互動式診斷。
“國際上現(xiàn)有開源大模型大多適用于部分研究和測試場景,性能有限,且通常不提供完整的數(shù)據(jù)集支持,難以滿足大規(guī)模臨床應(yīng)用的需求。所以,我們要自主開發(fā)病理基座大模型,完整嵌入整個臨床流程?!币姷綏盍郑窃?strong>西湖大學(xué)舉行的首屆數(shù)智病理西湖峰會上,他是大會執(zhí)行主席,也是分享嘉賓。
出席這場峰會的,有中科院院士、高校人工智能專家,還有全國多家三甲醫(yī)院院長以及超過百位病理科主任等,大家共聚一堂探討大模型時代的數(shù)智病理。
在開幕致辭中,西湖大學(xué)校長施一公提道:“當(dāng)科研真正進(jìn)入臨床,跨界融合的生命力一定會凸顯出來。”
半秒完成鏡下分析
結(jié)構(gòu)化報告自動生成
眼下,病理大模型是AI+醫(yī)療領(lǐng)域的一大研究焦點(diǎn),也是攻克難點(diǎn)。比如哈佛醫(yī)學(xué)院2024年發(fā)布計算病理學(xué)視覺語言基礎(chǔ)模型UNI和CONCH,2025年初多模態(tài)全切片基礎(chǔ)模型“泰坦”問世;微軟研究院也于去年推出全切片數(shù)字病理學(xué)模型GigaPath。
在楊林看來,“大一統(tǒng)”是DeepPathAI的核心優(yōu)勢。日常病理診斷中,醫(yī)生既會用顯微鏡觀察局部細(xì)節(jié)(鏡下視野圖),也會查看全場圖以了解整體情況?!澳壳暗拇竽P屯ǔV荒芴幚砥渲幸环N,而我們將兩者結(jié)合,構(gòu)建了首個融合鏡下視野和全場圖像的多模態(tài)病理大模型框架?!?/p>
除了大模型的基礎(chǔ)理論研究,這個團(tuán)隊也正在將AI的力量注入常用的光學(xué)和硬件設(shè)備中,成為病理醫(yī)生的智能小助手。
顯微鏡搭載DeepPathAI后,只需將病理切片置于顯微鏡下,大模型即可實時讀取鏡下視野圖像,并在0.5秒內(nèi)提供定量分析和判讀提示。
遇到疑難區(qū)域,病理醫(yī)生也可以一鍵采圖向DeepPathAI提問,獲得關(guān)于該視野圖像的回答;還可以在數(shù)據(jù)庫中“以圖搜圖”,找到類似病例和診療信息,實時查詢相關(guān)文獻(xiàn),進(jìn)一步輔助診斷。
而全切片掃描儀搭載DeepPathAI后,能對40多個癌種進(jìn)行智能分析,算法模塊覆蓋細(xì)胞病理、組織病理、免疫組化和分子病理等。它還支持多種組織切片的智能分析,定位癌變區(qū)域,自動完成疾病分型。
想象一下,在忙碌的工作中,醫(yī)生們只需啟動掃描儀,DeepPathAI就會在后臺默默工作。第二天,就能看到一份AI填寫的結(jié)構(gòu)化報告。當(dāng)然,病理醫(yī)生仍需完成最后報告的核驗、審批和最終簽發(fā)。
這場變革不止于硬件。當(dāng)DeepPathAI深度集成到病理信息管理系統(tǒng),語音交互讓病史查詢變得輕松自然,智能校對還能敏銳捕捉諸如“女性前列腺”之類的手誤……
很快,杭州市第一人民醫(yī)院就將迎來這位“新同事”的正式上崗。
將臨床和研究深度融合
從事計算機(jī)病理學(xué)超20年,楊林的最大感受就是:“這個領(lǐng)域太卷了,大家都在拼命往前跑?!彼故玖艘粡埐±泶竽P脱芯繗v程的時間軸圖表,上方是西湖大學(xué)的相關(guān)研究,下方是哈佛、斯坦福、微軟等國際頂尖團(tuán)隊的成果,你追我趕。
這位從西安走出來的科學(xué)家,人生軌跡充滿了跨界色彩。本碩就讀于西安交通大學(xué),2002年獲得圖像處理與模式識別碩士學(xué)位,隨后赴美深造。在羅格斯大學(xué)攻讀博士期間,他同時師從計算機(jī)專家和病理學(xué)家兩位導(dǎo)師,由此開啟AI與醫(yī)學(xué)交叉研究的學(xué)術(shù)生涯。
2009-2015年,楊林先后在美國多所知名高校任職,從羅格斯大學(xué)的病理學(xué)系、放射學(xué)系,到佛羅里達(dá)大學(xué)的生物醫(yī)學(xué)工程系、計算機(jī)系,并在那里獲得終身副教授。
2017年,他回國創(chuàng)業(yè),在杭州創(chuàng)辦迪英加科技有限公司,現(xiàn)已成為杭州準(zhǔn)獨(dú)角獸企業(yè),致力于將AI技術(shù)和數(shù)智病理深度融合。
“當(dāng)時發(fā)現(xiàn)學(xué)術(shù)論文已經(jīng)發(fā)了很多,但似乎都還沒有真正抓到本質(zhì)問題。”楊林回憶道,“在我現(xiàn)在所處的職業(yè)階段,最在意的只有工作影響力。而深入臨床一線后發(fā)現(xiàn),只有真正理解臨床需求,才有機(jī)會挖掘到具有更大范圍影響力的學(xué)術(shù)研究問題。”
3年后他再次轉(zhuǎn)身,加入西湖大學(xué)工學(xué)院,成立人工智能與生物醫(yī)學(xué)影像實驗室,逐步建立起針對不同疾病的研究項目。楊林意識到:“臨床中有很多迫切需要解決的基礎(chǔ)理論問題,這些基礎(chǔ)理論問題就必須回歸學(xué)術(shù)研究,比如模型泛化問題,這些需要長期投入的基礎(chǔ)性工作更適合高校環(huán)境。”
初到西湖大學(xué)的那兩年,他帶領(lǐng)團(tuán)隊埋頭于海量數(shù)據(jù)的收集與清洗工作?!拔覀冋狭司W(wǎng)絡(luò)公開資源、專業(yè)書籍、共識指南等,也和全國上百家三甲醫(yī)院合作,最終建立起百萬級別的病理圖文數(shù)據(jù)庫。”
2023年,團(tuán)隊發(fā)布首個成果——醫(yī)學(xué)數(shù)據(jù)庫PathAsst,包含130億參數(shù)、700萬醫(yī)學(xué)文獻(xiàn);2024年,連續(xù)發(fā)布4個病理基礎(chǔ)大模型,并獲得領(lǐng)域頂級會議MICCAI 2024的Young Scientist Award。
從學(xué)者到創(chuàng)業(yè)者,再回歸學(xué)術(shù),成就了楊林臨床和研究全面融合的獨(dú)特視角。
讓病理醫(yī)生有機(jī)會多吃上一頓熱飯
2023年初,國家多部門聯(lián)合印發(fā)《加速消除宮頸癌行動計劃(2023-2030年)》,加快推進(jìn)我國宮頸癌消除進(jìn)程。面對每年3億適齡婦女的篩查需求,傳統(tǒng)病理診斷模式面臨巨大壓力。
“在做了100萬例人工智能的分析比對后,我們看到DeepPathAI的陽性檢出率,比傳統(tǒng)的第三方高出約2個百分點(diǎn)。”
這個數(shù)字的背后,是AI對宮頸癌篩查流程的重構(gòu)——大模型負(fù)責(zé)海量樣本的初篩,醫(yī)生可更專注于陽性病例的復(fù)診,閱片效率和診斷準(zhǔn)確率都能得到提升。事實上,早兩年,新疆地區(qū)農(nóng)村婦女的“兩癌”(乳腺癌、宮頸癌)篩查中,已經(jīng)用上了楊林團(tuán)隊研發(fā)的人工智能解決方案。
楊林自稱是“科技的樂觀主義者”“理想的現(xiàn)實主義者”?!癆I不會取代醫(yī)生,但會重塑醫(yī)療場景?!痹谒磥?,技術(shù)終將回歸服務(wù)本質(zhì)——減輕醫(yī)生負(fù)擔(dān),彌合醫(yī)療鴻溝。
在那天的峰會上,楊林用了一個小故事,結(jié)束了關(guān)于“從DeepSeek到DeepPathAI”的分享:在過去幾年交流的數(shù)百位病理主任中,他注意到其中一位的辦公室里總是放著很多方便面。追問之下才知道,這位主任每天都要等冰凍室送來切片,只能用泡面當(dāng)晚飯。
“而我們努力在做的,就是讓這樣的病理醫(yī)生可以早點(diǎn)回家,吃上一頓熱飯?!?/strong>
文 | 童蔚
VIEW MORE
@一舉包攬全球前三,杭州成了開源大模型之城?>>
@AI智能體“實在人” >>
@我們用吉普力的畫風(fēng)重新演繹“來自東方的力量” >>
@華人“芯”事>>
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.