09-推理引擎
09-推理引擎(第 96–115 题)
| 题号 | 主题 | 文章 |
|---|---|---|
| 96 | TensorRT的builder和runtime工作流程?`pl… |
096-TensorRT的builder和runtime工作流程.md |
| 97 | TensorRT的dynamic shape优化技巧?`optimi… |
097-TensorRT的dynamic-shape优化技巧.md |
| 98 | TensorRT的plugin开发中,`IPluginV2Dynam… |
098-TensorRT的plugin开发中,IPluginV2DynamicExt.md |
| 99 | ONNX Runtime的execution provider有哪些… |
099-ONNX-Runtime的execution-provider有哪些.md |
| 100 | torch.compile的推理优化模式?`reduce-overh… |
100-torch.compile的推理优化模式.md |
| 101 | vLLM的PagedAttention核心思想?`block tab… |
101-vLLM的PagedAttention核心思想.md |
| 102 | vLLM的continuous batching如何实现?和`sta… |
102-vLLM的continuous-batching如何实现.md |
| 103 | vLLM的prefix caching机制?命中率如何提升? |
103-vLLM的prefix-caching机制.md |
| 104 | TensorRT-LLM的in-flight batching原理? |
104-TensorRT-LLM的in-flight-batching原理.md |
| 105 | FasterTransformer的decoder优化技术?`mem… |
105-FasterTransformer的decoder优化技术.md |
| 106 | Hugging Face的`text-generation-infere… | 106-Hugging-Face的text-generation-inference.md |
| 107 | llama.cpp的量化策略?Q4_0、Q5_K_M的区别? |
107-llama.cpp的量化策略.md |
| 108 | 移动端推理框架选择?MNN、TNN、Paddle Lite对… |
108-移动端推理框架选择.md |
| 109 | 推理引擎的warmup为什么重要?如何设计warmup策略? |
109-推理引擎的warmup为什么重要.md |
| 110 | 多stream推理的实现?CUDA stream的同步机制? |
110-多stream推理的实现.md |
| 111 | 推理batching的padding和packing策略?`Fl… |
111-推理batching的padding和packing策略.md |
| 112 | 如何评估推理引擎的延迟分布?P50、P90、P99的优化重点? | 112-如何评估推理引擎的延迟分布.md |
| 113 | 推理服务的auto-scaling策略?基于GPU利用率还是请求队列… |
113-推理服务的auto-scaling策略.md |
| 114 | 多模型混部的资源隔离?MPS(Multi-Process Servi… |
114-多模型混部的资源隔离.md |
| 115 | 推理引擎的debug模式?如何定位精度下降问题? |
115-推理引擎的debug模式.md |