AI Infra 305
11-服务化与调度

11-服务化与调度(第 131–145 题)

题号 主题 文章
131 Triton Inference Server的`model ensem… 131-Triton-Inference-Server的model-ensemble.md
132 Triton的dynamic batching和`preferred… 132-Triton的dynamic-batching和preferred-batc.md
133 推理服务的A/B testing如何实现?模型版本管理? 133-推理服务的A-B-testing如何实现.md
134 Kubernetes + NVIDIA GPU Operator… 134-Kubernetes-+-NVIDIA-GPU-Operator的部署经验.md
135 GPU虚拟化方案?MIG(Multi-Instance GPU)的配… 135-GPU虚拟化方案.md
136 推理请求的priority scheduling实现?`weight… 136-推理请求的priority-scheduling实现.md
137 长文本请求的preemption策略?KV cache的swap o… 137-长文本请求的preemption策略.md
138 推理服务的health check和`graceful degrad… 138-推理服务的health-check和graceful-degradation.md
139 如何监控推理服务的GPU memory泄漏? 139-如何监控推理服务的GPU-memory泄漏.md
140 推理模型的hot reload如何实现?零停机更新? 140-推理模型的hot-reload如何实现.md
141 gRPC vs REST for inference?性能差异和… 141-gRPC-vs-REST-for-inference.md
142 推理批处理的timeout处理?部分结果返回? 142-推理批处理的timeout处理.md
143 多租户场景下的资源配额管理?quota、limit、`reque… 143-多租户场景下的资源配额管理.md
144 推理服务的cost optimization策略?Spot inst… 144-推理服务的cost-optimization策略.md
145 Edge deployment的挑战?模型加密、设备兼容性? 145-Edge-deployment的挑战.md

返回总览