經(jīng)濟觀察網(wǎng) 記者 老盈盈 顱內(nèi)胚胎性腫瘤是一種兒童常見的惡性腫瘤，香港中文大學(xué)外科學(xué)系神經(jīng)外科組主任陳達明過去做這種腦外科手術(shù)時，所用到的內(nèi)窺鏡是直的，因為不能轉(zhuǎn)彎會有很多限制。另外，手術(shù)時會有兩條入腦的線，因此病人也會有兩個傷口。

2022年，一種名為柔性微創(chuàng)手術(shù)機器人的手術(shù)器械面世了。陳達明表示，該機器人輔助神經(jīng)外科手術(shù)，一條線入腦轉(zhuǎn)一個彎就可以完成此前的兩個步驟。即便在腦室裝著腦積水非常狹窄的位置，柔性微創(chuàng)手術(shù)機器人也已經(jīng)可以很靈活地進行操作。

近日，陳達明在接受經(jīng)濟觀察網(wǎng)記者采訪時表示，采用柔性微創(chuàng)手術(shù)機器人的手術(shù)可以減少50%以上病人的腦部創(chuàng)傷。如今，AI手術(shù)大模型進一步面世，可以精確識別腦部組織的位置，陳達明認為在AI大模型的加持下，未來柔性微創(chuàng)手術(shù)機器人甚至可以自己做轉(zhuǎn)彎的動作。

3月11日，中國科學(xué)院香港創(chuàng)新研究院人工智能與機器人創(chuàng)新中心（以下簡稱“中國科學(xué)院香港創(chuàng)新院AI中心”）正式發(fā)布最新研發(fā)的面向醫(yī)療垂直領(lǐng)域的AI多模態(tài)大模型——CARES Copilot 1.0。

據(jù)記者了解，專為神經(jīng)科學(xué)研發(fā)的大模型，可以超越一般教學(xué)的要求，能夠應(yīng)用在臨床、手術(shù)室及研究院，直接輔助前線醫(yī)護面對突發(fā)狀況，督導(dǎo)、預(yù)警、防止手術(shù)步驟危險，推進神經(jīng)科學(xué)的疆界。此外，手術(shù)大模型和手術(shù)導(dǎo)航結(jié)合起來，可以為術(shù)者提供實時的解剖定位信息，提高手術(shù)安全性。

AI手術(shù)大模型的多項識別功能

CARES Copilot系統(tǒng)，是一款專為醫(yī)療領(lǐng)域設(shè)計的大型模型系統(tǒng)，能夠與智能醫(yī)療設(shè)備高度集成，可有效支持包括手術(shù)中實時影像智能識別、MRI/CT/超聲等多模態(tài)配準、內(nèi)窺鏡下場景理解、器械與解剖結(jié)構(gòu)分割、器械檢測與計數(shù)、手術(shù)室攝像機下醫(yī)生行為監(jiān)督等功能。

中國科學(xué)院香港創(chuàng)新院AI中心執(zhí)行主任、博士生導(dǎo)師劉宏斌在發(fā)布會上對經(jīng)濟觀察網(wǎng)記者表示，1.0版主要以識別和輔助醫(yī)生的功能為主，只有把識別做準確了，才有可能去辨別手術(shù)當(dāng)中作出的判斷是否準確。目前該系統(tǒng)的識別功能，首先是基于三維人體的手術(shù)室行為識別算法，能夠直接從視頻圖像里提取出“人的身體”，并把“人的身體”進行數(shù)字化，并對人體動作進行判斷，比如“他現(xiàn)在在做什么，他的動作是否合規(guī)”等。該技術(shù)能夠?qū)崿F(xiàn)95%的行為準確率的識別。其次是基于多模態(tài)手術(shù)階段識別算法，利用大模型的抽象理解能力，能夠非常準確地判斷出手術(shù)到了什么階段。

“第三是關(guān)鍵解剖結(jié)構(gòu)識別。即使是有經(jīng)驗的醫(yī)生，也不可能百分百確認他看到的手術(shù)場景里哪些屬于特定的解剖結(jié)構(gòu)，特別是一些隱藏在他視野后面的結(jié)構(gòu)，現(xiàn)在通過這個系統(tǒng)能夠把一些關(guān)鍵的解剖結(jié)構(gòu)的識別率提高到80%以上，這樣在手術(shù)過程中，醫(yī)生可以通過這些信息讓手術(shù)操作更加安全。”劉宏斌稱。

據(jù)劉宏斌介紹，該系統(tǒng)還有一項MRI-CT圖像翻譯功能，例如醫(yī)生需要某個病人CT的骨性結(jié)構(gòu)，往往需要讓病人重新做一次CT，這對病人來說會增加一次輻射的風(fēng)險，同時也讓整個手術(shù)流程變得復(fù)雜。但現(xiàn)在可以依靠系統(tǒng)生成式學(xué)習(xí)的能力，通過還原原生的核磁信息，就能推理出病人的骨性結(jié)構(gòu)，讓操作更為簡單。

CARES Copilot系統(tǒng)注重實用性和可及性，已在多家醫(yī)院的不同科室進行了實地內(nèi)部測試和持續(xù)優(yōu)化。北京協(xié)和醫(yī)院神經(jīng)外科主任醫(yī)師馮銘對經(jīng)濟觀察網(wǎng)記者表示，“目前我們已經(jīng)把系統(tǒng)運用在神經(jīng)外科專科培訓(xùn)上，因為一些年輕醫(yī)生很多時候沒有機會進手術(shù)室，所以把手術(shù)視頻放到這個大模型里。這樣，醫(yī)生就能夠很直觀地看到手術(shù)每一步在干什么，每一步重要的結(jié)構(gòu)是什么，現(xiàn)在這個已經(jīng)可以實現(xiàn)了”。

馮銘表示，下一步準備把導(dǎo)航信息放進模型中，以在手術(shù)中起到預(yù)警作用。

“做手術(shù)進到腦部組織后，大模型的手術(shù)導(dǎo)航可以識別手術(shù)做到哪一步了，也會提醒腦部組織結(jié)構(gòu)叫什么？是血管還是神經(jīng)？包括腫瘤后面有什么，能夠提前預(yù)警，例如切除腫瘤的時候，導(dǎo)航會提醒可能會切到血管，要注意了。”馮銘稱。

機器人做手術(shù)“分階段實現(xiàn)”

記者從采訪中獲悉，CARES Copilot2.0版本將從識別延伸到手術(shù)指導(dǎo)。在手術(shù)操作的時候，大模型通過此前大量專家操作的歷史記錄，提醒及指導(dǎo)醫(yī)生哪個階段應(yīng)該如何操作，相當(dāng)于教練一樣。

“有些資歷較淺的醫(yī)生或者基層醫(yī)院的醫(yī)生經(jīng)驗比較少，不可能靠自己的判斷完成一臺手術(shù)。如果想讓他做出一臺好的手術(shù)，理想的情況下，應(yīng)該有個專家站在他旁邊指導(dǎo)，但現(xiàn)實中這是不可能實現(xiàn)的，因為專家的時間也有限，不可能手把手教每一個基層醫(yī)生。因此我們下一步會把專家的經(jīng)驗集成到模型里，讓模型去指導(dǎo)資歷淺的醫(yī)生，讓他們操作起來更安全。”劉宏斌稱。

而在未來，機器模型是否可以迭代到更高級的版本，自主操作手術(shù)？劉宏斌覺得這個事情會發(fā)生，但這個過程是分階段發(fā)生的。

劉宏斌表示，隨著機器大模型理解能力的提升，醫(yī)生能夠識別機器人的意圖，從而與它進行有效的配合，例如讓機器人幫助醫(yī)生進行一些非關(guān)鍵的操作如牽拉一下組織等等，這些相當(dāng)于機器人自主操作，這種技術(shù)在可預(yù)見的未來是可以實現(xiàn)的。問題的關(guān)鍵在于，這種技術(shù)是否能夠在臨床上被醫(yī)生認可，這取決于它的準確度和可靠性能否達到要求。這些都需要一段時間的訓(xùn)練積累，在測試性的實驗環(huán)境里對它進行修正。

劉宏斌進一步表示，未來甚至有可能醫(yī)生只是做一個手術(shù)的規(guī)劃，而具體動刀則由機器人完成，這些在未來也是可以實現(xiàn)的。

馮銘亦告訴記者，目前機械臂已經(jīng)可以實現(xiàn)自動穿刺定位。但如果不用人來控制機器，而讓機器直接做手術(shù)，則還需要很長的時間。

“一臺手術(shù)本身是一個非常復(fù)雜的決策系統(tǒng)，它不只是讓機器去做一些動作就可以的，因為手術(shù)過程中可能會發(fā)生很多預(yù)想不到的情況，怎么去處理這些突發(fā)情況，這就很需要醫(yī)生從實戰(zhàn)中積累到的經(jīng)驗，這些經(jīng)驗是很難完全靠機器來復(fù)制的。”劉宏斌說。