如何设计一套可持续演进的 AI 服务框架
EXL 在《Engineering the Harness》系列中探讨企业 AI 的服务框架设计，涵盖服务架构、内存管理、调度与推理优化如何协同。文章指出生产环境的瓶颈常来自 KV cache 随并发与上下文增长导致的 GPU 显存压力，应先测量再优化。框架应围绕工作负载与 SLO 构建，使换模型成为评估与配置决策而非架构重建。
#推理
MIT Technology Review · AIAI 评分2222
Berkeley AI ResearchAI 评分4242 智能免费之后怎么办？面向智能体、由智能体构建的数据系统
UC Berkeley 的 Aditya G. Parameswaran 等人提出，推理成本正快速下降——GPT-4 级能力从 2023 年初约 $30/百万 token 降至如今不到 $1，部分厂商已低于 $0.10，基准测试中推理价格年降幅在 9x 到 900x 之间、中位数约 50x。
Berkeley AI ResearchAI 评分3737 自适应并行推理：高效推理扩展的下一个范式
伯克利 AI 研究团队综述了并行推理领域进展，重点分析自适应并行推理——让模型自行决定何时分解并并行化独立子任务、开启多少并发线程以及如何协调。文章指出，现有方法如 self-consistency、Best-of-N、Tree of Thoughts、MCTS、ParaThinker、GroupThink 和 Hogwild! Inference 的并行结构多由外部设定，而非模型自主选择。