研究發現,人工智慧聊天機器人能通過全美律師倫理考試
AI chatbot can pass national lawyer ethics exam, study finds
By Karen Sloan November 16, 2023 7:03 PM GMT+8
11月16日(路透社)- 一項新的研究發現,受歡迎的人工智慧聊天機器人GPT-4在幾乎每個州要求從事法律業務的法律倫理考試上,都超越了大多數有志成為律師的人。
GPT-4在模擬的多州專業責任考試(MPRE)上,正確回答了74%的問題,而全國人類考生的平均正確率則估計為68%,這是根據周四發布的一份報告,該報告由LegalOn Technologies提供,該公司銷售審查合約的人工智慧軟體。
「我們的研究表明,未來可能可以開發人工智慧,協助律師遵守倫理規範,並在相關的情況下,與律師的專業責任保持一致。」研究報告這樣寫道。
這項研究加入了越來越多的研究,探討人工智慧在法律教育和律師執照方面的應用。一項早期的研究發現,GPT-4的前一個版本在法學院的期末考試上取得了及格但不出色的成績。另一項較近期的研究發現,GPT-4可以通過律師資格考試。本月初,研究人員發現,使用GPT-4可以提高法律寫作作業的速度,但並沒有提升法學生作品的品質。
GPT-4是微軟支持的OpenAI開發的一種大型語言模型,可以根據用戶的查詢生成人類般的文本。
負責制定MPRE的全國律師考試委員會(National Conference of Bar Examiners)的發言人表示,他們無法評估LegalOn報告聲稱GPT-4可以通過其倫理考試的說法。
「法律專業在使用技術方面一直在不斷進化,並將繼續這樣做。」全國會議發言人Sophie Martin說。她補充說,「律師擁有一套人工智慧目前無法匹敵的獨特技能。」
除了威斯康辛州之外,每個州都要求法學生在通過律師資格考試之前,還要通過60題選擇題的MPRE,才能獲得執業資格。考試的內容包括利益衝突、律師與客戶的關係和保密性。大多數人在法學院時就參加了MPRE。
GPT-4在利益衝突的問題上表現特別好,正確回答率達到91%。它在客戶與律師關係的問題上也有88%的正確率。但是它在有關法律服務的溝通和保管資金和其他財產的問題上,準確度就下降了,分別只有71%和72%的正確率。
「這項研究首次證明,表現最佳的生成式人工智慧模型,可以像有志成為律師的人一樣,有效地運用法律倫理規則。」研究報告這樣寫道。
記者:Karen Sloan