當(dāng)?shù)貢r間2023年11月21日,據(jù)《科學(xué)》(Science)雜志報道,人工智能(AI)有望幫助科研人員消化大量論文,但面臨技術(shù)和法律障礙。
約瑟夫·吉迪奧蒂斯(Iosif Gidiotis)今年開始攻讀瑞典皇家理工學(xué)院(KTH Royal Institute of Technology)教育技術(shù)博士學(xué)位,獲悉AI驅(qū)動的新工具可以幫助“消化”文獻,很感興趣。
在全球科學(xué)領(lǐng)域,去年共發(fā)表了近300萬篇論文。在論文數(shù)量激增的情況下,AI研究助理“聽起來很棒”。
吉迪奧蒂斯希望AI能夠找到與其研究問題更相關(guān)的論文,并總結(jié)出亮點。然而事情并不如他想象中順利。當(dāng)他嘗試使用一種名為Elicit的AI工具時,他發(fā)現(xiàn)只有部分相關(guān),而且Elicit的摘要不夠準(zhǔn)確,無法滿足他的需求。“獲得Elicit的結(jié)果后,你的直覺是要自己閱讀原文來驗證摘要是否正確,所以它并不能節(jié)省時間。”
Elicit“表示”,它正在繼續(xù)為25萬普通用戶改進算法。在一項調(diào)查中,該工具平均每周為人們節(jié)省90分鐘的閱讀和搜索時間。據(jù)悉,Elicit由一家非營利性研究組織創(chuàng)建于2021年,旨在幫助科學(xué)家瀏覽文獻。
“這些平臺呈爆炸式增長。”安德里亞·基亞雷利(Andrea Chiarelli)說,她在研究咨詢公司(Research Consulting)的出版工作中關(guān)注AI工具,然而,這些工具的生成系統(tǒng)容易產(chǎn)生虛假內(nèi)容,并且許多搜索到的論文都需要付費。
基亞雷利表示:“很難預(yù)測哪些AI工具會占上風(fēng),而且有一定程度的炒作,但它們顯示出巨大的前景。”
與引發(fā)全球關(guān)注的 ChatGPT(OpenAI研發(fā)的一款聊天機器人程序)和其他大語言模型 (LLM) 一樣,一些新工具在大量文本樣本上進行“訓(xùn)練”,學(xué)習(xí)識別單詞關(guān)系,這些關(guān)聯(lián)使算法能夠?qū)λ阉鹘Y(jié)果求和。它們還根據(jù)論文中的上下文識別相關(guān)內(nèi)容,相較于僅使用關(guān)鍵字查詢,會產(chǎn)生更廣泛的結(jié)果。
從頭開始培訓(xùn)大語言模型對大部分組織來說太過昂貴,因此Elicit和其他AI工具使用開源的大語言模型,而在其用于“訓(xùn)練”的文本中,許多是非科學(xué)的。
有些AI工具走得更遠。例如,Elicit 按概念組織論文,查詢“過多咖啡因”,可以出現(xiàn)關(guān)于“減少嗜睡”和“損害運動表現(xiàn)”的單獨論文集。高級版本每月收費10美元,還可使用額外的內(nèi)部編程來提高準(zhǔn)確性。
另一個名為 Scim 的工具有助于將讀者的目光吸引到論文最相關(guān)的部分。該工具是非營利性組織——艾倫AI研究所(Allen Institute for AI)創(chuàng)建的語義閱讀器(Semantic Reader)工具的一項功能,它像一個自動墨跡熒光筆,用戶可以對其進行自定義,應(yīng)用于有關(guān)新穎性、目標(biāo)和其他主題的陳述。
“它提供了一篇論文是否值得閱讀的快速診斷和分類,這非常有價值。”美國密歇根大學(xué)(University of Michigan)的信息科學(xué)家艾達(Eytan Adar)說,他試用過早期版本。還有一些工具可以注釋摘要,允許用戶自己判斷準(zhǔn)確性。
為了盡量避免產(chǎn)生錯誤的響應(yīng),艾倫研究所(Allen Institute)使用受過科學(xué)論文“訓(xùn)練”的大語言模型來操作語義閱讀器,但這種方法的有效性很難衡量。美國麻省理工學(xué)院(Massachusetts Institute of Technology)的計算機科學(xué)家邁克爾·卡賓(Michael Carbin)說:“這些都是邊緣的技術(shù)難題。”
艾倫研究所語義學(xué)者(Semantic Scholar)論文庫的首席科學(xué)家韋爾德(Dan Weld)的說:“目前,我們擁有的最佳標(biāo)準(zhǔn)是讓受過良好教育的人來觀察AI輸出并仔細分析它。”
該研究所已經(jīng)收集了300多名付費研究生和數(shù)千名志愿測試人員的反饋。質(zhì)量檢驗顯示,將Scim應(yīng)用于非計算機科學(xué)論文會產(chǎn)生故障,因此該研究所目前僅為大約55萬篇計算機科學(xué)論文提供Scim。
其他研究人員強調(diào),只有當(dāng)開發(fā)人員和用戶能夠訪問論文全文,為搜索結(jié)果和內(nèi)容分析提供信息時,AI工具才能發(fā)揮潛力。澳大利亞皇家墨爾本理工大學(xué)(Royal Melbourne Institute of Technology,RMIT)計算語言學(xué)家卡琳·弗斯普爾(Karin Verspoor)說:“如果我們不能訪問文本,那么我們對這些文本中所捕獲的知識的看法就很有限。”
全球最大的科學(xué)出版商愛思唯爾(Elsevier)也將其AI工具限制在論文摘要上。今年8月,這家商業(yè)公司在其Scopus數(shù)據(jù)庫中首次推出了AI輔助搜索功能,該數(shù)據(jù)庫列出了9300萬篇研究出版物,成為最大的研究出版庫之一。為了響應(yīng)查詢,其算法會識別最相關(guān)的摘要,并使用 ChatGPT來提供整體摘要。
Scopus AI還按概念對摘要進行分組。目前,用戶的反饋是:這種方法足以“幫助跨學(xué)科領(lǐng)域的研究人員快速了解特定主題” 。
艾倫研究所采取了不同的方法:它與50多家出版商談判達成協(xié)議,允許其開發(fā)人員對付費論文的全文進行數(shù)據(jù)挖掘。韋爾德說,幾乎所有的出版商都免費提供訪問權(quán)限,因為AI為他們帶來流量。即便如此,根據(jù)許可限制,Semantic Reader用戶只能訪問Semantic Scholar的6000萬篇全文論文中的800萬篇全文。
實現(xiàn)大規(guī)模的數(shù)據(jù)挖掘還需要讓更多的作者和出版商采用非PDF格式,以幫助機器有效地消化論文的內(nèi)容。美國白宮2022年的一項指令要求,由聯(lián)邦資金制作的文件必須是機器可讀的,但各機構(gòu)尚未提出細節(jié)。
盡管面臨挑戰(zhàn),計算機科學(xué)家已經(jīng)在尋求開發(fā)更復(fù)雜的AI,以從文獻中收集更豐富的信息。他們希望收集線索以加強藥物發(fā)現(xiàn)并不斷更新系統(tǒng)評價。例如,由美國國防高級研究計劃局(Defense Advanced Research Projects Agency)支持的研究探索了一種能夠自動生成科學(xué)假設(shè)的系統(tǒng)。
目前,使用AI工具的科學(xué)家需要保持合理的懷疑態(tài)度,美國馬薩諸塞大學(xué)阿默斯特分校(University of Massachusetts Amherst)交互式信息訪問系統(tǒng)研究者哈米德·扎馬尼(Hamed Zamani)說:“LLM肯定會變得更好。但現(xiàn)在,它們有很多局限性。它們提供了錯誤的信息。科學(xué)家們應(yīng)該非常清楚這一點,并仔細檢查它們的輸出。”
來源:澎湃新聞
作者:李周亮 曹年潤