ChatGPT的侷限與負評 - 天蠍浪子的咖啡杯 - udn部落格
天蠍浪子的咖啡杯
作家:天蠍浪子
文章分類
    Top
    ChatGPT的侷限與負評
    2024/08/16 13:00:18
    瀏覽:285
    迴響:4
    推薦:17
    引用0

    作家錢世傑日前在自己的臉書貼文表示,反對使用Chat GPT等生成式AI來寫文章的人,都是可笑、沒概念的,看罷該人貼文,我對其論調不以為然。

    經我查詢相關資料,Chat GPT全稱聊天生成預訓練轉換器(英語:Chat Generative Pre-trained Transformer),是Open AI開發的人工智慧聊天機器人程式,於202212月推出,該程式使用基於GPT-3.5GPT-4GPT-4o架構的大型語言模型並以強化學習訓練,ChatGPT目前仍以文字方式互動,而除了可以用人類自然對話方式來互動,還可以用於甚為複雜的語言工作,包括自動生成文字、自動問答、自動摘要等多種任務。

    ChatGPT可寫出相似真人的文章,並在許多知識領域給出詳細和清晰的回答而迅速獲得關注,證明了從前認為AI不會取代的知識型工作它也足以勝任,對金融與白領人力市場的衝擊相當大,但也認為事實準確度參差不齊是其重大缺陷,並認為基於意識形態的模型訓練結果須小心校正。

    ChatGPT也有一些局限,例如,Open AI就承認ChatGPT「有時會寫出看似合理但不正確或荒謬的答案」,在大語言模型中很常見,稱作人工智慧幻覺。

    Chat GPT的獎勵模型圍繞人類監督而設計,可能導致過度最佳化,從而影響效能(古德哈特定律),Steven Johnson認為原因是聊天機器人的目標不是追求絕對的真理或準確性,而是儘量根據給定的上下文和概率來產生合理的回答,2020年上線時,ChatGPT20199月之後發生的事件知之甚少。

     除此之外,The Verge網站的詹姆斯·文森特將ChatGPT的病毒式成功視為人工智慧已成為主流的證據。CBC記者評論稱ChatGPT有「幻覺」傾向,線上技術部落格Mashable的邁克·珀爾用多條問題測試了ChatGPT,其中一次他問ChatGPT「中美洲除墨西哥外最大的國家」是哪個,ChatGPT回答稱是瓜地馬拉,而答案是尼加拉瓜,在CNBCChatGPT詢問“The Ballad of Dwight Fry”的歌詞時,ChatGPT給出了完全虛構的歌詞。

    The Verge參照的研究員將ChatGPT比作「隨機鸚鵡」,澳大利亞機器學習研究所的安東·范登亨格爾教授也給出了類似的觀點,稱之為「只是簡單重複它認為我們想聽的話」的鸚鵡。

    202212月,問答網站Stack Overflow禁止使用者發布使用ChatGPT生成的答案,理由是ChatGPT的答案雖看似可用,實際上卻有很高的錯誤率。

     在《紐約時報》2022126日的評論文章“Does ChatGPT Mean Robots Are Coming For the Skilled Jobs?”中,經濟學家保羅·克魯曼寫道,ChatGPT將影響對知識工作者的需求,諾姆·喬姆斯基、伊恩·羅伯茲、傑弗里·瓦圖穆爾(Jeffrey Watumull)則在202238日的“The False Promise of ChatGPT”評價道,「鑑於這些系統的非道德性、偽科學性和語言無能,我們只能為它們的流行而感到哭笑不得」。

    20231月,在收到一首由ChatGPT以尼克·凱夫風格創作的歌曲後,歌曲作者本人2023116日在《紅手檔案》(The Red Hand Files)上以“I asked Chat GPT to write a song in the style of Nick Cave, and this is what it produced. What do you think?”一文回應說,寫歌的行為是:「一項血腥的事業…….這需要我的一些東西來發起新的和新鮮的想法。它需要我的人性。」他繼續寫道:「儘管世界上所有的愛和尊重,這首歌都是胡說八道,是對人性的荒誕嘲弄,而且,好吧,我不太喜歡它。」

    20231月,國際機器學習大會禁止在提交的論文中使用ChatGPT或其他大型語言模型來生成任何文字;該月7日〈《國際政治》紐約市公立學校 禁用ChatGPT〉報導提到,紐約市公立學校禁止師生在校園網路及裝置使用ChatGPT

    2023216日,杭州市某小區微信業主群一位業主將ChatGPT寫的杭州於202331日取消限行的新聞稿發到群,杭州其實並未發表31日取消限行的措施,群員轉發錯誤資訊,錯誤資訊傳播開去,最終警方介入調查,涉事業主在該微信群道歉;同月19日〈香港大學禁用ChatGPT 台大研議是否跟進〉報導提到,香港大學禁止師生在課堂、作業和評估中使用ChatGPT或其他AI工具,認定這是抄襲行為;同月22日,為了驗證ChatGPT是否能代替醫生問診,浙江大學醫學院附屬第一醫院精神衛生科醫生呂海龍讓ChatGPT做一套由中國執業醫師考試卷的題目組成的試卷,滿分100分,最終ChatGPT的成績卻是57分不合格。

    2023331日,義大利隱私保護監管機構表示,由於ChatGPT不重視使用者資料,而且無法核實使用者年齡,該機構已封鎖ChatGPT

    20235月,美國紐約一名律師利用ChatGPT,為同事處理的訴訟蒐集資料,搜尋以往相關案例,該名律師曾多次向ChatGPT確認案例的真偽,惟ChatGPT每次均回答案例真實,結果被對家律師揭發,至少6宗案例並不存在,似是偽造;該名律師其後表示,後悔依賴生成式人工智慧,此前從未使用該技術搜尋案例,不知道ChatGPT提供的內容有可能是假,該名律師最終須接受紀律聆訊。

    202311月,巴西一名地方法官因使用ChatGPT書寫判決書出錯而接受巴西國家司法委員會的調查。

     以上所列舉由開發者Open AI自行提出的限制,或者世界上自Chat GPT問世以來發生過,而被記錄下來的負評事件,除了2023331日發生在義大利的那起事件是隱私權問題,還有香港大學認為是抄襲、紐約市公立學校以會成為學生作弊工具為理由之一而禁用Chat GPT外,其餘的負評事例,都是專門針對Chat GPT會給出一看就知道是錯誤、胡說八道的答案,會對使用者傳遞錯誤的訊息、資料或知識這一大缺點在檢討、質疑或反對。

     而我反對用Chat GPT寫論述文章的理由,主要也是因為Chat GPT會提供明顯錯誤的資料或知識,我之前對Chat GPT出了「臺灣農地管理的法令」、「臺灣樹木保護的法令」這兩道考題,結果前者沒有答得完整,後者Chat GPT則提了一個臺灣目前並不存在的《國有林地管理法》,且Chat GPT對這兩個問題寫出來的文章,在我看來是都還要大修、大改,才能真的在社群網站發表出去,不然是會嚴重誤導讀者。

    若照錢世傑的見解,這兩個題材我覺得還不如我自己憑人腦構思、取材、撰寫,用Chat GPT反而畫蛇添足、徒增麻煩,且若說文獻回顧或文獻探討這部分,參照20235月發生在紐約的那起事件,可知Chat GPT會搜尋出一些實際上不存在的虛假文獻,以此為例,我不認為Chat GPT可以普遍運用在任何文章題材的撰寫,學術論文的文獻回顧或文獻探討,也不適合用Chat GPT

    在我看來,一個人若某專門領域的文獻、書籍讀得夠多夠深,搜尋管道夠熟悉,基本上是不需要用Chat GPT來寫論文的。

    回應
    迴響(4) :
    4樓. 麵線
    2024/08/19 20:35

    AI的 "母語" 對AI之發展有決定性的影響。所謂AI的母語就是灌輸給AI資料庫所使用的語言,若是透過其他語言翻譯過來的資料,會產生相當程度的誤差。目前最龐大的AI資料庫是英語為母語的介面,其次是中文為母語的介面。這兩大母語系統投餵的資料量大於其他語言,故AI在這兩大母語系統所獲取的知識較完善。

    3樓. 魔師帆正東
    2024/08/18 13:59
    錢世傑先生 確實對 ChatGPT 

    有深入的研究。

    不過,我也認同 版主的看法

    。一個人若某專門領域的文

    獻、書籍讀得夠多夠深,基

    本上是不需要用Chat GPT來

    寫論文的。

    論文名稱: 應用強化學習於部分遮蔽太陽能最大功率點追蹤控制器之設計

    指導教授: 陳永平

    研究生   : 佳修

    校院名稱: 國立交通大學

    學位類別: 碩士

    表弟真水準! 4.7秒神仙致勝球 雲豹闖冠軍戰

    台灣職籃T1聯盟季後

    賽,效力桃園雲豹的

    前NBA球星「表弟」

    卡森斯(DeMarcus Cousins)

    ,可以說是拿出自己的真正

    水準,對上高雄海神的第三

    戰,卡森斯猛砍37分18籃板

    ,更在延長賽最後4.7秒投進

    「神仙球」等級的致勝一擊

    ,帶領雲豹113比111,三戰

    橫掃海神,隊史首度晉級總

    冠軍戰。

    我就是 佳修 的表哥(Cousins)

    啊!

    柯文哲假帳猛燒…館長開噴民眾黨!魚夫「見這5句」嚇傻:很難聽

    民眾黨主席柯文哲

    做假帳風波持續延

    燒,多筆紀錄都被

    抓出有紕漏,令許

    多支持者一時之間

    無法接受,過去曾

    經公開支持柯文哲

    、黃國昌等人的網

    紅「館長」陳之漢

    也感到相當火大,

    館長甚至公開在職

    播放批評柯競辦…

    選後醞釀罷免侯友宜? 吳敦義:賴清德不是盼朝野團結

    吳主席 是 馬、王 都能接受的人選,是 國民黨內的

    最大公約數。

    吳敦義主席 應該參選 黨主席 、參選總統 才是 啊!

    要相信老母娘是唯一正法
    感謝分享 天蠍浪子2024/08/18 18:07回覆
    2樓. sigmachen
    2024/08/16 14:57

    獨賣台

    賣台獨

    台獨賣 

    台獨賣賴清徳耍錢輸美贏中保封存鳥知鳥之鳥汁鳥ㄓㄓㄓ 

    台獨賣賴清徳耍錢輸美贏中保封存鳥知鳥之鳥汁鳥ㄓㄓㄓ 

    台獨賣賴清徳耍錢輸美贏中保封存鳥知鳥之鳥汁鳥ㄓㄓㄓ 

    白吃關島美利兼

    斷頭台隍陸疫事十六賴清徳執行假英文博論立威

    呆民主人吃民主菜

    1樓. 安心
    2024/08/16 14:34
    AI普及是必然的趨勢,但也會是有利有弊,也會造就新弱勢族群,就像過去工業革命使傳統農民越艱困,現在有更多人利用資訊不對等詐騙、竊盜,藉AI智慧型犯罪更難被防制,更多的人更無奈的成砧板上的魚肉。
    數位落差的問題若在,AI就不可能普及。 天蠍浪子2024/08/16 20:05回覆
    發表迴響

    會員登入