Elorian 用 DecoyCount 基准测试前沿模型的视觉推理能力
Elorian 联合 Mercor 发布 DecoyCount 基准,测试语言模型是真正数物体还是依赖视觉捷径,前沿模型准确率均低于 50%,最高的 GPT-6 Astra 为 43.17%。
Elorian 联合 Mercor 发布 DecoyCount 基准,测试语言模型是真正数物体还是依赖视觉捷径,前沿模型准确率均低于 50%,最高的 GPT-6 Astra 为 43.17%。
GitHub 发布代码审查离线基准 ReviewBench,基于 1.039 亿个 GitHub PR 的分布特征,构建了覆盖 19 种语言、219 个公开 PR 的评测集。