微软研究院播客:AI 会犯哪些错,失败能教我们什么
微软研究院播客中,partner research manager Jennifer Neville 与首席应用科学家 Chad Atalla 讨论评估如何推动 AI 系统突破传统 benchmark 的性能边界,以及模型在超出常规测试时出现的“意外失败”。她结合自身从数学、物理、认知科学转向计算机科学的经历,分享使用当前 AI 系统的实用建议,并强调结果反常时细查数据的重要性。
微软研究院播客中,partner research manager Jennifer Neville 与首席应用科学家 Chad Atalla 讨论评估如何推动 AI 系统突破传统 benchmark 的性能边界,以及模型在超出常规测试时出现的“意外失败”。她结合自身从数学、物理、认知科学转向计算机科学的经历,分享使用当前 AI 系统的实用建议,并强调结果反常时细查数据的重要性。
GitHub 发布代码审查离线基准 ReviewBench,基于 1.039 亿个 GitHub PR 的分布特征,构建了覆盖 19 种语言、219 个公开 PR 的评测集。