如何设计一套可持续演进的 AI 服务框架（serving harness）

文章建议先明确工作负载约束再定架构：面向用户的快速响应助手与可夜间运行的文档处理流水线需求不同，模型准确率略高但推理成本翻倍或无法满足延迟要求时并非更好的生产选择。服务架构各环节相互影响，KV cache 随并发请求和上下文长度增长，可能先耗尽 GPU 显存而非算力，因此应先测量、定位主要瓶颈再优化，而非堆叠所有优化技术。框架还应便于吸收新模型与新硬件，使换模型成为评估与配置决策而非架构重建。