跳到正文
IT之家·· 19 小时前AI 评分75

淘宝 MNN 团队开源 MNN-Pocket-0.3B 手机端模型,iPhone 18 Pro 离线解码约 350 token/s

淘宝 MNN 团队开源 0.3B 手机模型,苹果 iPhone 18 Pro 离线跑出 350 token/s

AI 导读

淘宝旗下 MNN 团队发布并开源 MNN-Pocket-0.3B 端侧语言模型,约 3 亿参数,重点支持中英文。该模型在 iPhone 18 Pro 上通过 MNN 推理引擎完全离线运行,平均解码速度约 350 token/s,INT4 部署文件体积 173MB。

来源:IT之家 · ithome.com