NVIDIA Developer Blog

使用 NVIDIA Inference Transfer Library 增强分布式推理性能

部署大型语言模型 (LLM) 需要大规模分布式推理，这将模型计算和请求处理分散到多个 GPU 上...