PaperBench

正从科研辅助工具蜕变为创新引擎：从 DeepMind 破解蛋白质折叠难题的 AlphaFold，到

PaperBench测试了多款AI模型复现ICML 2024顶会论文的能力。结果显示，Claude 3.5 Sonnet表现最好，平均得分为21.0%。研究发现当前AI在长期规划、持续调试和策略执行方面存在问题。PaperBench为评估AI科研能力提供了量化标准，有助于加速科学发现并推动开放协作。

OpenAI发布PaperBench新基准测试，最新版Claude-3.5-Sonnet在复现ICML2024论文任务中超越其他顶尖大模型。对比去年的MLE-Benchmark，PaperBench更侧重综合能力评估。

enAI最新框架PaperBench正为此生，让AI智能体从头开始复现ICML 2024 20篇优秀

今天凌晨 1点， OpenAI开源了一个全新的 AI Agent评测基准—— PaperBench。 该基准主要考核智能体的搜索、整合、执行等能力。