多租户共享显卡，难点不只是把设备分给不同用户，还要控制显存争用、任务互相影响和权限越界。设计多租户AI平台的显卡切分与隔离方案时，先明确任务需要的是稳定算力、灵活共享，还是强安全边界，再决定切分方式。以下五项实践可作为平台建设和改造的检查清单。
1. 按任务特征选择切分方式
先把任务分为长时间训练、在线推理、开发调试等类型，记录显存需求、运行时长和延迟要求。硬件支持时，MIG 可将单卡划分为具有独立计算与显存资源的实例，适合需要较稳定资源边界的并发任务；缺点是可选配置受具体显卡型号限制，资源也不一定能按任意比例切分。GPU time-slicing 让多个任务轮流使用设备，部署灵活，但显存通常仍由任务共同占用，负载高时性能波动更明显。
因此，多租户AI平台的显卡切分与隔离方案不应只看“能开几个实例”。对延迟敏感或显存占用大的任务，优先验证硬切分能力；任务短小、负载较轻且可接受波动时，再考虑时间片共享。vGPU 等方案则需核对硬件、驱动和授权条件。
2. 将配额落实到租户和任务
在调度层设置每个租户可用的卡数、切分实例数、并发任务数及排队优先级，并为单个任务设置显存或资源上限（具体能力取决于设备与运行时）。避免仅按用户账号限流：一个账号可能提交多个工作负载，仍会挤占其他租户资源。
- 建立租户、项目、队列三级资源配置，说明各级上限和优先级。
- 通过 Kubernetes device plugin 或相应调度组件登记设备资源，确认调度器看到的资源与实际切分实例一致。
- 设置超额申请、任务排队和取消规则；先让低优先级任务等待，不要默认允许其抢占正在运行的训练。
3. 不把显卡切分误当成完整安全隔离
显卡资源隔离不等同于租户之间完全安全隔离。容器共享宿主机内核，设备访问权限、挂载目录、网络和凭据仍需分别控制。生产环境应按租户划分命名空间或等效边界，使用最小权限设备映射，避免把宿主机设备节点无差别暴露给容器；同时限制特权容器，并隔离数据卷和密钥。
若不同租户运行来源不明的代码，或涉及敏感数据，应评估独立虚拟机、专用节点等更强边界，并测试驱动与设备直通是否兼容。多租户AI平台的显卡切分与隔离方案应同时覆盖计算资源、操作系统权限和数据访问，而非只依赖 MIG 或容器配置。
4. 监控共享带来的实际影响
按租户、任务和设备记录显存使用、利用率、排队时间、运行时长、失败原因及温度或功耗等可用指标。对时间片共享，重点观察多个任务同时运行时的吞吐变化和延迟尾部；对硬切分，关注实例是否长期闲置、切分规格是否与任务需求匹配。将监控告警与配额、队列关联，才能判断问题来自资源不足、任务异常还是调度策略。
5. 用并发验收而不是单任务演示
上线前建立代表性测试：用不同显存需求和运行时长的任务组合，先单独运行，再逐步增加并发；比较吞吐、排队时间、失败率和任务间波动。每次只调整一种因素，例如切分规格或并发上限，并记录配置与结果。验收标准应由业务延迟目标、任务完成时限和可接受的失败率确定，不宜照搬其他平台的固定数值。
如果正在评估托管资源或部署支持，可将德讯电讯纳入技术沟通范围，重点询问设备切分能力、驱动与调度兼容性、租户隔离边界及监控方式；具体能力应以实际方案和合同条款核实。最终，多租户AI平台的显卡切分与隔离方案要以任务实测、权限审查和持续监控共同验收。
常见问题
切分后，显存是否一定独立？
不一定。MIG 等硬切分方式可提供更明确的资源边界；时间片共享通常不能据此推断显存也被独立切开，需核对设备与软件栈能力。
小型平台是否需要立即使用 MIG？
不必。若租户少、任务负载可控，可先用队列和配额管理共享，再根据争用和隔离要求评估硬切分；前提是了解共享的性能波动与安全边界。
如何判断配置是否适合上线？
用真实任务组合开展并发测试，确认资源配额、排队规则、权限隔离和监控告警均按预期工作，并在升级驱动或调度组件后重新验证。
