Elorian 用 DecoyCount 基准测试前沿模型的视觉推理能力
Elorian 联合 Mercor 发布 DecoyCount 基准,测试语言模型是真正数物体还是依赖视觉捷径,前沿模型准确率均低于 50%,最高的 GPT-6 Astra 为 43.17%。
Elorian 联合 Mercor 发布 DecoyCount 基准,测试语言模型是真正数物体还是依赖视觉捷径,前沿模型准确率均低于 50%,最高的 GPT-6 Astra 为 43.17%。
Mistral 在公开预览三周后,将 Mistral Large 4 的权重发布到 Hugging Face,该模型代号 Le Chonk,总参数约一万亿、每步激活 520 亿,支持文本与图像输入。
Google DeepMind 在 Argon 发布两周后推出 Gemini 4 Carbon,称其在网络安全与长周期任务上达到 SOTA,并以 88.2% 的 SEC-bench Pro 漏洞发现成绩作为主打数据。
推荐理由:汇总 Gemini 4 Carbon 在多个独立榜单与安全指标上的表现,并列出访问限制与定价差异。
Google DeepMind 在 Argon 发布两周后推出 Gemini 4 Carbon,该模型在 Artificial Analysis Intelligence Index v5.0 上以 59 分登顶,前代 Argon 为 50 分。
同一件事,精选收录的是《Google DeepMind 发布 Gemini 4 Carbon 前沿模型》
微软研究院播客中,partner research manager Jennifer Neville 与首席应用科学家 Chad Atalla 讨论评估如何推动 AI 系统突破传统 benchmark 的性能边界,以及模型在超出常规测试时出现的“意外失败”。她结合自身从数学、物理、认知科学转向计算机科学的经历,分享使用当前 AI 系统的实用建议,并强调结果反常时细查数据的重要性。
GitHub 发布代码审查离线基准 ReviewBench,基于 1.039 亿个 GitHub PR 的分布特征,构建了覆盖 19 种语言、219 个公开 PR 的评测集。