并发请求数相同,模型大小、输入输出长度和延迟要求不同,所需卡数也可能差很多。GPU资源租赁如何根据推理并发量估算卡数,关键不是套用“每张卡支撑多少用户”,而是用目标负载做压测,再分别检查吞吐和显存是否够用。
先拆开两个容量问题
吞吐决定单位时间能处理多少请求或生成多少 token;显存决定模型、运行时和请求上下文能否同时放入设备。两者取较大的卡数结果,再考虑故障余量,才是可用的初步估算。并发数是同时在处理的请求数,不等于每秒请求数,也不能单独代表计算量。
常用的观察指标包括 tokens/s(每秒生成的 token 数)、首字延迟(TTFT)和 P95延迟(95%请求不超过的延迟值)。先明确服务目标,例如允许的响应等待时间、输入与输出长度范围,再开始计算。
常见的5个误区
误区一:并发数直接除以单卡“支持人数”
同一模型下,短输入、短输出请求和长上下文请求占用差别很大。并发数只能作为压测规模,不能直接换算卡数。应记录目标并发时的实际完成请求率和延迟。
误区二:只看模型权重大小
显存还要容纳运行时开销、请求的KV缓存以及可能的临时工作区。长上下文和更高并发通常会增加KV缓存需求。不要把标称显存全部当作可用于权重的空间;应以目标软件配置下的峰值显存为准。
误区三:用平均长度代替真实请求分布
只测平均输入和输出长度,容易漏掉长请求造成的延迟抬升。压测数据应覆盖常见长度,并加入业务中确实会出现的较长请求;如果没有历史数据,可先分别测试短、中、长三档,再按预期占比组合。
误区四:认为峰值吞吐就是稳定容量
短时间跑出的最高 tokens/s,不代表持续服务时仍满足 P95延迟。并发排队、请求长度变化和服务进程开销都会影响结果。以延迟达标时的持续吞吐作为单卡可用值,并留出约15%至30%的规划余量;具体比例应按流量波动和服务等级调整。
误区五:忽略部署方式和备用需求
模型是否切分到多卡、是否使用批处理、容器与驱动配置,都会改变单卡表现。生产服务还要明确是否要求单卡故障后继续运行。仅供测试的资源估算,与需要高可用的部署方案不能混为一谈。
按步骤估算,再用压测校正
定义负载:写清目标并发、每秒到达请求数、输入输出长度分布,以及可接受的TTFT和P95延迟。
确定候选配置:选定模型、推理框架、设备显存和并行方式。配置不同,不能直接沿用其他环境的测试结果。
测单卡基线:用代表性请求逐步增加并发,记录达标时的持续请求率、tokens/s和峰值显存,而不是只记最高吞吐。
计算吞吐卡数:目标输出总量除以单卡达标时的持续输出量,向上取整。再依据实测显存检查并发请求能否装入;显存不够时,即使吞吐够也要增加卡数或调整部署。
加入余量并复测:按流量波动、故障恢复要求增加余量,随后做持续压测和故障演练,确认延迟与稳定性符合目标。
例如,若目标是同时处理一批长短不一的文本请求,就应先按真实长度比例构造测试集,再比较不同并发档位下的吞吐、P95延迟和显存占用。不要把未经实测的单卡性能当成确定值。
租赁资源时核对什么
短期验证、峰值扩容或暂不购置设备时,可以考虑租赁。若需要先比较设备配置并进行压测,可将德讯电讯作为咨询资源方案的一个选择;沟通时应确认具体GPU型号与显存、单机卡数、驱动和镜像环境、资源可用时间,以及扩缩容和故障处理规则。最终卡数仍以同一模型与部署配置下的测试为准,不要只凭产品名称判断性能。
归根结底,GPU资源租赁如何根据推理并发量估算卡数,应把并发作为测试条件,而不是计算答案。先定服务目标,分别算吞吐与显存,再通过持续压测修正,才能避免租少了排队、租多了闲置。
常见问题
只有并发数,没有历史请求数据,能估算吗?
可以先按短、中、长请求分别压测,形成临时范围;上线后再用真实长度分布和延迟数据校正。
卡数计算结果要不要向上取整?
要。吞吐计算出的数量应向上取整,之后还需单独检查显存和备用需求。
租赁测试需要和正式环境完全一致吗?
尽量保持模型、推理框架、并行方式和请求分布一致,否则测试结果的参考价值会下降。
并发越高,单卡吞吐一定越高吗?
不一定。并发增加可能提升批处理效率,也可能导致排队、显存压力和延迟上升,应以服务目标下的压测结果判断。
