钛媒体· 斯凯有话说·· 11 小时前AI 评分62
英伟达工程师用1.2万行CuTe DSL代码优化Kimi K3推理,vLLM称AI生成代码已超出人工审查速度
AI写的代码,人类来不及审:英伟达1.2万行代码优化Kimi K3,另开新战场?
AI 导读
vLLM博客复盘英伟达CentML工程师Benjamin Chislett用1.2万行CuTe DSL编写的Megakernel优化Kimi K3推理,原文报告batch 1下超过840 tokens/s、多配置解码吞吐提升1.5—2倍。
来源:钛媒体 · tmtpost.com