AWS Machine Learning Blog· Shantanu Tripathi·· 4 小时前精选AI 评分60
SageMaker Inference 支持 NVIDIA MIG GPU 分区
SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints
AI 导读
Amazon SageMaker Inference 新增 GPU 分区能力，基于 NVIDIA Multi-Instance GPU（MIG）把单块 GPU 拆成最多 7 个硬件隔离分区，每个分区可独立部署不同模型。
推荐理由
原文给出分区配置方式、各 GPU 可选档位与实测对比，可据此判断小模型和多租户场景该选整卡还是分区。
来源：AWS Machine Learning Blog · aws.amazon.com