研究人員總是不能區(qū)分人工智能生成的摘要和原始的摘要。

根據(jù)bioRxiv服務(wù)器上12月底發(fā)布的一份預(yù)印本，人工智能(AI)聊天機(jī)器人可以編寫如此有說服力的虛假研究論文摘要，以至于科學(xué)家往往無法發(fā)現(xiàn)它們。研究人員在ChatGPT對(duì)科學(xué)的影響存在著分歧。

“我非常擔(dān)心，”Sandra Wachter說。她在英國(guó)牛津大學(xué)(University of Oxford)研究技術(shù)和監(jiān)管，但沒有參與這項(xiàng)研究。她補(bǔ)充說:“如果我們現(xiàn)在的情況是，專家無法確定什么是真的或假的，我們就失去了我們迫切需要的中間人，在復(fù)雜的話題中指導(dǎo)我們?！?/p>

聊天機(jī)器人ChatGPT根據(jù)用戶提示創(chuàng)建現(xiàn)實(shí)且聽起來智能的文本。它是一個(gè)“大型語言模型”，一個(gè)基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)，通過消化大量現(xiàn)有的人工生成的文本來學(xué)習(xí)執(zhí)行任務(wù)。位于加州舊金山的軟件公司OpenAI于11月30日發(fā)布了這款免費(fèi)工具。

自從它發(fā)布以來，研究人員一直在努力解決圍繞其使用的道德問題，因?yàn)樗脑S多輸出可能很難與人類書寫的文本區(qū)分開?？茖W(xué)家們發(fā)表了一篇預(yù)印本和一篇由ChatGPT撰寫的社論?，F(xiàn)在,一組由Catherine Gao?在芝加哥西北大學(xué),伊利諾斯州,利用ChatGPT生成人工研究論文摘要測(cè)試科學(xué)家是否能發(fā)現(xiàn)它們。

研究人員要求聊天機(jī)器人根據(jù)發(fā)表在《美國(guó)醫(yī)學(xué)會(huì)雜志》(JAMA)、《新英格蘭醫(yī)學(xué)雜志》(The New England Journal of Medicine)、《英國(guó)醫(yī)學(xué)雜志》(The BMJ)、《柳葉刀》(The Lancet)和《自然醫(yī)學(xué)》(Nature Medicine)上的一篇文章撰寫50篇醫(yī)學(xué)研究摘要。然后，他們通過剽竊檢測(cè)器和人工智能輸出檢測(cè)器將這些摘要與原始摘要進(jìn)行比較，并要求一組醫(yī)學(xué)研究人員找出偽造的摘要。

不為人知的真相

ChatGPT生成的摘要通過剽竊檢查:中位原創(chuàng)分?jǐn)?shù)為100%，這表明沒有檢測(cè)到剽竊。AI-output探測(cè)器發(fā)現(xiàn)66%生成的摘要。但人工審閱者也沒有做得更好:他們只正確識(shí)別了68%的生成摘要和86%的真正摘要。他們錯(cuò)誤地將生成的32%的摘要識(shí)別為真實(shí)的，并將14%的真正的摘要識(shí)別為生成的。

“ChatGPT撰寫了可信的科學(xué)摘要，”Gao及其同事在預(yù)印本中說?！笆褂么笮驼Z言模型來幫助科學(xué)寫作的道德和可接受的界限仍有待確定?！?/p>

Wachter說，如果科學(xué)家不能確定研究是否正確，可能會(huì)有“可怕的后果”。這不僅會(huì)給研究人員帶來問題，因?yàn)樗麄冋陂喿x的研究是捏造的，他們可能會(huì)被有缺陷的調(diào)查路線所拖垮，還會(huì)“對(duì)整個(gè)社會(huì)產(chǎn)生影響，因?yàn)榭茖W(xué)研究在我們的社會(huì)中發(fā)揮著如此巨大的作用”。她補(bǔ)充說，例如，這可能意味著基于研究的政策決定是不正確的。

但是新澤西州普林斯頓大學(xué)的計(jì)算機(jī)科學(xué)家Arvind Narayanan說:“任何嚴(yán)肅的科學(xué)家都不太可能使用ChatGPT來生成摘要。”他補(bǔ)充說，生成的摘要是否能被檢測(cè)到是“無關(guān)緊要的”?！皢栴}在于，該工具能否生成準(zhǔn)確而令人信服的摘要。它不能，所以使用ChatGPT的好處是微乎其微的，而缺點(diǎn)是顯著的，”他說。

總部位于紐約和巴黎的AI公司Hugging Face的研究人工智能對(duì)社會(huì)影響的艾琳·索萊曼(Irene Solaiman)對(duì)科學(xué)思維依賴于大型語言模型感到擔(dān)憂。她補(bǔ)充說:“這些模型是在過去的信息上訓(xùn)練出來的，社會(huì)和科學(xué)的進(jìn)步往往來自于不同于過去的思考，或?qū)λ伎汲珠_放態(tài)度?！?/p>

這組作者建議，那些評(píng)估科學(xué)傳播的人，比如研究論文和會(huì)議記錄，應(yīng)該制定政策，杜絕使用人工智能生成的文本。如果機(jī)構(gòu)選擇允許使用的技術(shù)在某些情況下,他們應(yīng)該建立明確的規(guī)定披露。本月早些時(shí)候，將于7月在夏威夷檀香山舉行的第40屆國(guó)際機(jī)器學(xué)習(xí)大會(huì)(第40屆國(guó)際機(jī)器學(xué)習(xí)大會(huì)是一場(chǎng)大型AI會(huì)議)宣布禁止使用ChatGPT和其他AI語言工具撰寫的論文。

Solaiman補(bǔ)充說，在假信息可能危及人們安全的領(lǐng)域，比如醫(yī)學(xué)，期刊可能必須采取更嚴(yán)格的方法來驗(yàn)證信息的準(zhǔn)確性。

Narayanan說，這些問題的解決方案不應(yīng)該集中在聊天機(jī)器人本身，“而應(yīng)該集中在導(dǎo)致這種行為的不正當(dāng)動(dòng)機(jī)上，比如大學(xué)在進(jìn)行招聘和晉升審查時(shí)，只計(jì)算論文數(shù)量，而不考慮它們的質(zhì)量或影響”。

doi: https://doi.org/10.1038/d41586-023-00056-7

References

1. Gao, C. A.?et al.?Preprint at bioRxiv? ? ?

   https://doi.org/10.1101/2022.12.23.521610 (2022).

2. Blanco-Gonzalez, A.?et al.?Preprint at arXiv? ? ?https://doi.org/10.48550/arXiv.2212.08104?(2022).

3. O’Connor, S. & ChatGPT?Nurse Educ. Pract.?66, 103537 (2023).

   ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?