有些推理服务的显卡忙闲不均,并非单纯因为卡不够,而是请求到达、批次组装和实例分配没有配合好。优化AI推理集群显卡利用率与请求批处理调度,要同时观察设备忙碌程度、请求等待时间和生成速度,不能只追求显卡利用率读数接近满载。
先判断瓶颈在哪一层
显卡利用率偏低,可能是请求量不足、批次等待时间太长,也可能是前处理、网络传输或服务端并发限制拖慢了输入。利用率很高也不必然代表服务良好:如果队列持续增长、首字延迟上升,说明系统可能已无法及时消化请求。
监控时至少按实例记录显卡利用率、显存占用、每秒处理请求数或生成 token 数、队列长度、首字延迟(TTFT)和高分位延迟。再按模型、输入长度、输出长度及服务类型拆分数据,避免集群平均值掩盖单个实例过载。对自回归大语言模型,提示词长短和生成长度都会影响显存占用及执行时间。

批处理方式要匹配请求形态
短请求、吞吐优先
分类、向量计算等请求通常输入输出较短,可通过动态批处理把短时间内到达的请求合并执行。以 NVIDIA Triton Inference Server 为例,支持配置动态批处理相关参数;调大等待窗口可能形成更大批次、提高吞吐,但也会增加请求排队时间。应从较短窗口开始,逐步调整,并同时检查延迟分位数和吞吐变化。
长短混合的文本生成
对话请求的长度差异较大,固定批次容易被长请求拖住。vLLM 等服务框架采用连续批处理思路,在请求完成或新请求到达时动态调整正在执行的请求集合。它比固定批次更适合请求持续流入的生成服务,但仍需设置并发上限、队列容量和超时策略;显存压力过大时,盲目提高并发可能造成排队加剧甚至请求失败。
用调度策略避免实例冷热不均
调度器如果只按实例数量轮询,未必能照顾各实例的实际负载。应结合队列长度、正在执行的请求数和显存余量分配新请求;也可按模型版本、服务优先级或输入长度分池,减少长任务挤占交互请求资源。若请求带有会话缓存,调度还要兼顾缓存命中与负载均衡,不能为追求均匀而频繁迁移会话。
- 建立基线:固定模型版本、请求样本和并发条件,记录各实例吞吐、队列及延迟。
- 分类型回放:分别测试短输入、长输入和不同输出长度的请求,识别是哪一类流量拉低效率。
- 逐项调参:一次只调整批次等待窗口、最大批次或并发上限中的一项,观察吞吐与高分位延迟是否同时可接受。
- 按负载扩缩:当队列持续增长且延迟超出服务目标时,先确认显存或计算瓶颈,再增加实例或拆分服务池;低负载时则检查实例数与流量分配是否匹配。
把优化落到可观测的服务目标
AI推理集群显卡利用率与请求批处理调度应以服务目标为边界:交互式服务优先控制首字延迟和排队时间,离线任务则可接受更长等待,以换取更高吞吐。不要用单一“利用率目标”决定扩容,也不要把不同模型、不同长度请求的指标混在一起比较。
如果正在规划多节点推理环境,可在评估服务器配置、网络条件和运维支持时了解德讯电讯的相关服务,再依据实际模型、并发规模及服务目标核对方案;具体能力与适配情况应以服务方确认的信息为准。
常见问题
显卡利用率越高越好吗?
不一定。若高利用率伴随队列增长和延迟恶化,应优先处理过载或调度问题,而不是继续提高并发。
批次等待窗口应该设多大?
没有适用于所有模型的固定值。用真实请求回放,从较短窗口逐步增加,并同时比较吞吐、首字延迟和高分位延迟。
为什么集群平均利用率正常,仍有实例排队?
平均值可能掩盖流量倾斜、模型分布不均或请求长度差异。应查看实例级队列与负载,并检查调度是否考虑真实占用。
扩容前先看哪些指标?
重点看队列是否持续增长、延迟是否超出目标、显存是否紧张,以及显卡计算是否已成为瓶颈。扩容应针对确认后的瓶颈。
最终,AI推理集群显卡利用率与请求批处理调度需要围绕请求类型持续校准:批处理减少空转,调度避免热点,监控则验证吞吐提升没有以不可接受的延迟为代价。