4月3日，美國開放人工智能研究中心（OpenAI）推出AI Agent評測基準PaperBench，旨在評估AI智能體復現前沿AI研究的能力。該基準要求智能體從零開始復現20篇ICML2024 Spotlight和Oral論文，涵蓋理解論文貢獻、開發代碼庫及成功執行實驗等環節。
觀點網訊：4月3日，美國開放人工智能研究中心（OpenAI）宣布推出AI Agent評測基準PaperBench。該基準旨在評估AI智能體復現前沿AI研究的能力，要求智能體從零開始復現20篇ICML2024 Spotlight和Oral論文，涵蓋理解論文貢獻、開發代碼庫及成功執行實驗等環節。
在測試中，表現最佳的智能體Claude3.5Sonnet（新版）結合開源框架，平均復現得分為21.0%。即便招募頂尖機器學習博士嘗試部分測試集，其表現也未超越人類基線。
免責聲明：本文内容與數據由觀點根據公開信息整理，不構成投資建議，使用前請核實。
審校：楊曉敏
版權聲明：觀點網絡信息科技有限公司及廣州觀點信息資訊服務有限公司擁有及保留其主辦暨承辦網站、論壇及活動的所有資料（包括但不限於文字、圖片、音頻、視頻資料及頁面設計、編排、軟件等）的所有權、版權等其他相關知識產權。除經授權合法使用上述資料外，未征得我司書面許可並付費，任何單位和個人不得以任何理由及方式使用上述資料（包括但不限於轉載、轉讓、授權他人使用等），否則我司將依法追究其法律責任以及賠償責任。
承印人：觀點網絡信息科技有限公司 (Guandian Network Information Technology Co.,Ltd.)
地址：香港灣仔菲林明道8號大同大廈15樓1505室（Room 5,15th Floor,Tai Tung Building,8 Fleming Road,Wan chai,HongKong Island,HongKong. ）
電郵：info@guandian.hk
移動端下載