近日，湖南省醫(yī)保局發(fā)布的通知中提到的“嚴(yán)禁使用人工智能等自動(dòng)生成處方”引發(fā)熱議，人工智能“幻覺(jué)”也被自媒體輪番報(bào)道，AI醫(yī)療似乎“不太靠譜”。

同時(shí)，人工智能輔助醫(yī)生診療時(shí)能夠引用出最新指南、標(biāo)注多篇參考文獻(xiàn)中的關(guān)鍵內(nèi)容，正成為越來(lái)越被倚重的“全知型”幫手。

那么，人工智能參與照護(hù)百姓健康，到底如何劃定效率與責(zé)任的邊界？醫(yī)療領(lǐng)域在對(duì)人工智能高效便利等優(yōu)點(diǎn)善加利用的同時(shí)，怎樣才能避開(kāi)風(fēng)險(xiǎn)？

為什么嚴(yán)禁人工智能自動(dòng)生成處方

“目前人工智能在臨床診療中，比較被接受的作用是臨床決策支持和輔助。”廣東醫(yī)科大學(xué)多模態(tài)數(shù)據(jù)融合應(yīng)用實(shí)驗(yàn)室（GMCLab）主任弓孟春告訴科技日?qǐng)?bào)記者，醫(yī)囑開(kāi)立作為診療行為的關(guān)鍵步驟，目前的確不允許也不應(yīng)該由人工智能直接進(jìn)行處方開(kāi)立。

上海市眼病防治中心主任醫(yī)師朱劍鋒也向科技日?qǐng)?bào)記者表示，線(xiàn)上問(wèn)診可以用AI來(lái)輔助，但診斷和開(kāi)具處方是不允許的。

2021年，國(guó)家衛(wèi)生健康委發(fā)布的《公立醫(yī)院高質(zhì)量發(fā)展促進(jìn)行動(dòng)（2021-2025年）》中也明確，鼓勵(lì)有條件的公立醫(yī)院加快應(yīng)用智能可穿戴設(shè)備、人工智能輔助診斷和治療系統(tǒng)等智慧服務(wù)軟硬件，提高醫(yī)療服務(wù)的智慧化、個(gè)性化水平。

“對(duì)于人工智能的核心約束是，它不能替代醫(yī)生直接進(jìn)行診療決策。”弓孟春解釋?zhuān)ㄋ椎卣f(shuō)，AI是提建議的，醫(yī)生是做決策的，聽(tīng)不聽(tīng)由醫(yī)生決定。人工智能軟件目前能提供用藥禁忌、劑量換算、注意事項(xiàng)提醒等輔助功能。

“使用人工智能自動(dòng)處方的情況，一般不會(huì)發(fā)生在實(shí)體醫(yī)院內(nèi)。”弓孟春解釋?zhuān)瑢?shí)體醫(yī)院的診療流程有著嚴(yán)格的質(zhì)控和監(jiān)管，不太可能出現(xiàn)機(jī)器替代人開(kāi)醫(yī)囑的情況。互聯(lián)網(wǎng)醫(yī)院等醫(yī)療主體的診療環(huán)節(jié)在院外，較難監(jiān)管。

查閱湖南省醫(yī)保局發(fā)布的《關(guān)于進(jìn)一步加強(qiáng)基本醫(yī)療保障定點(diǎn)零售藥店管理的通知》文件可以發(fā)現(xiàn)，“嚴(yán)禁使用人工智能等自動(dòng)生成處方”的提法在“規(guī)范互聯(lián)網(wǎng)醫(yī)保定點(diǎn)醫(yī)院處方行為”的條款中，條款同時(shí)要求互聯(lián)網(wǎng)醫(yī)院要與患者或患者家屬進(jìn)行有效、充分的溝通問(wèn)診。

對(duì)于互聯(lián)網(wǎng)診療，國(guó)家衛(wèi)生健康委在2022年發(fā)布的《互聯(lián)網(wǎng)診療監(jiān)管細(xì)則（試行）》中對(duì)接診、開(kāi)方流程均進(jìn)行了明確規(guī)定：其他人員、人工智能軟件等不得冒用、替代醫(yī)師本人提供診療服務(wù)；處方應(yīng)由接診醫(yī)師本人開(kāi)具，嚴(yán)禁使用人工智能等自動(dòng)生成處方。

人工智能的“幻覺(jué)”是避不開(kāi)的BUG嗎？

有觀點(diǎn)認(rèn)為，由于人工智能“幻覺(jué)”是天生的，會(huì)杜撰藥品名稱(chēng)、治療方法等，其用于醫(yī)療可能“闖下大禍”，加之Open AI之前在美國(guó)應(yīng)用時(shí)也出現(xiàn)過(guò)“幻覺(jué)”問(wèn)題，更令人忐忑。

那么，能不能消除大模型自主產(chǎn)生的、看似邏輯嚴(yán)密卻又毫無(wú)依據(jù)的“幻覺(jué)”呢？醫(yī)療和人工智能領(lǐng)域在聯(lián)合研發(fā)過(guò)程中，從未回避這一問(wèn)題。

不久前，北京協(xié)和醫(yī)院與中國(guó)科學(xué)院自動(dòng)化研究所共同研發(fā)的“協(xié)和·太初”罕見(jiàn)病人工智能（AI）大模型正式進(jìn)入臨床應(yīng)用階段。科研團(tuán)隊(duì)將能有效抑制人工智能“幻覺(jué)”作為其三大核心優(yōu)勢(shì)之一。相關(guān)報(bào)道顯示，傳統(tǒng)的人工智能模型常因數(shù)據(jù)噪聲或知識(shí)盲區(qū)產(chǎn)生“幻覺(jué)”，易導(dǎo)致錯(cuò)誤推斷。“協(xié)和·太初”通過(guò)整合權(quán)威數(shù)據(jù)、動(dòng)態(tài)更新知識(shí)、增加溯源機(jī)制等方式，有效抑制模型出現(xiàn)“幻覺(jué)”，增強(qiáng)了臨床決策可信度。

“抑制‘幻覺(jué)’，目前主要通過(guò)本地化的高質(zhì)量數(shù)據(jù)集（如真實(shí)的診療記錄等）和大量經(jīng)人工驗(yàn)證的知識(shí)庫(kù)（如臨床診療指南、教材及公開(kāi)可及的科學(xué)文獻(xiàn)等）進(jìn)行模型微調(diào)。”弓孟春解釋?zhuān)ㄟ^(guò)提示詞工程等技術(shù)在推理過(guò)程中施加有效的證據(jù)佐證、溯源核查、判據(jù)驗(yàn)證等，并不斷反饋與修正。可以理解為，讓AI只學(xué)“好知識(shí)”，并限制推理“邊界”，也可增加“溯源”機(jī)制，在臨床應(yīng)用前不斷修正“教育”。

相關(guān)專(zhuān)業(yè)機(jī)構(gòu)發(fā)布的DeepSeek在國(guó)內(nèi)三甲醫(yī)院部署的統(tǒng)計(jì)顯示，包括復(fù)旦大學(xué)附屬華山醫(yī)院、瑞金醫(yī)院、深圳市人民醫(yī)院等在內(nèi)的多個(gè)醫(yī)院開(kāi)啟了與國(guó)內(nèi)頂尖人工智能企業(yè)的聯(lián)合研發(fā)，通過(guò)跨領(lǐng)域的融合和對(duì)接，加速推進(jìn)醫(yī)療智能化，解決“卡脖子”問(wèn)題。業(yè)內(nèi)認(rèn)為，利用DeepSeek獨(dú)特的“分層次知識(shí)蒸餾”技術(shù)，可使醫(yī)療復(fù)雜場(chǎng)景中的推理計(jì)算量降低30%。

“國(guó)內(nèi)外大量基于多模態(tài)臨床數(shù)據(jù)進(jìn)行的研究證實(shí)，人工智能技術(shù)所提供的臨床洞察意見(jiàn)可能會(huì)超越醫(yī)生所能掌握的知識(shí)極限和物理感覺(jué)極限，為臨床決策提供重要的輔助意見(jiàn)。”弓孟春說(shuō)，對(duì)于AI給出的新證據(jù)、新論斷要持“審慎驗(yàn)證、充分研判”的態(tài)度，建設(shè)多模態(tài)臨床數(shù)據(jù)基礎(chǔ)設(shè)施，梳理高質(zhì)量的隊(duì)列，對(duì)各類(lèi)數(shù)據(jù)驅(qū)動(dòng)的醫(yī)學(xué)新發(fā)現(xiàn)進(jìn)行驗(yàn)證。以多學(xué)科診療（MDT）的形式將AI提供的臨床證據(jù)融入診療環(huán)節(jié)為患者服務(wù)，是全球醫(yī)療科研領(lǐng)域的主流發(fā)展趨勢(shì)之一。

來(lái)源: 科技日?qǐng)?bào) 記者：張佳星

全國(guó)衛(wèi)生產(chǎn)業(yè)企業(yè)管理協(xié)會(huì)轉(zhuǎn)化醫(yī)學(xué)產(chǎn)業(yè)分會(huì)（以下簡(jiǎn)稱(chēng)分會(huì)）是全國(guó)衛(wèi)生產(chǎn)業(yè)企業(yè)管理協(xié)會(huì)（以下簡(jiǎn)稱(chēng)總會(huì)）的分支機(jī)構(gòu)。全國(guó)衛(wèi)生產(chǎn)業(yè)企業(yè)管理協(xié)會(huì)是由原國(guó)家衛(wèi)生部申報(bào)，國(guó)家民政部登記批準(zhǔn)，1992年10月成立。由從事衛(wèi)生健康企事業(yè)單位和科研、管理等人員自愿結(jié)成的全國(guó)性、行業(yè)性、非營(yíng)利性，具有獨(dú)立法人資格的國(guó)家一級(jí)社會(huì)團(tuán)體。登記管理機(jī)關(guān)是國(guó)家民政部，黨建領(lǐng)導(dǎo)機(jī)關(guān)是中央和國(guó)家機(jī)關(guān)工作委員會(huì)，業(yè)務(wù)指導(dǎo)單位是國(guó)家衛(wèi)生健康委員會(huì)。協(xié)會(huì)宗旨：堅(jiān)持“護(hù)佑健康、發(fā)展產(chǎn)業(yè)、誠(chéng)信創(chuàng)新、服務(wù)社會(huì)”，推進(jìn)衛(wèi)生健康事業(yè)、產(chǎn)業(yè)企業(yè)發(fā)展，為國(guó)家經(jīng)濟(jì)建設(shè)和人民健康服務(wù)。CCTMIS（全國(guó)衛(wèi)生產(chǎn)業(yè)企業(yè)管理協(xié)會(huì)轉(zhuǎn)化醫(yī)學(xué)產(chǎn)業(yè)分會(huì)）致力打造一個(gè)“產(chǎn)學(xué)研醫(yī)、協(xié)同創(chuàng)新”的平臺(tái)，目前協(xié)會(huì)有超過(guò)4000個(gè)會(huì)員，其中超過(guò)半數(shù)為臨床專(zhuān)家型醫(yī)生！