推理与部署

端侧推理 手机、边缘盒子、NPU 与浏览器内推理 量化与显存 AWQ / GPTQ / GGUF,KV Cache 与显存估算 算力与显卡 4090 / A100 / H20,租卡、自建与成本对比 推理框架 vLLM / SGLang / TensorRT-LLM / llama.cpp 选型与调优