如何设计一套可持续演进的 AI 服务框架

EXL 在《Engineering the Harness》系列中探讨企业 AI 的服务框架设计，涵盖服务架构、内存管理、调度与推理优化如何协同。文章指出生产环境的瓶颈常来自 KV cache 随并发与上下文增长导致的 GPU 显存压力，应先测量再优化。框架应围绕工作负载与 SLO 构建，使换模型成为评估与配置决策而非架构重建。