预训练任务跑得慢，不一定是 GPU 不够。数据读取跟不上、显存装不下训练状态，或节点间通信拥塞，都可能让昂贵的计算资源闲置。做好预训练基础设施规划，应先把模型、并行方式和目标训练规模转成资源需求，再确定算力、存储与网络配置。
先估算算力与显存需求
选型不能只看 GPU 型号或标称算力。先明确模型参数规模、序列长度、全局批量、精度格式及训练时限；这些因素共同决定计算量和显存占用。显存预算还需包括模型权重、梯度、优化器状态、激活值及通信缓冲区。序列变长时，激活值通常明显增加；采用混合精度、梯度检查点等方法可以调整占用，但可能带来额外计算或实现复杂度。
以 NVIDIA HGX H100 系统为例，其 GPU 间可通过 NVLink 与 NVSwitch 互联，适合需要频繁设备间通信的多卡训练。AMD Instinct MI300X 是另一类加速器选择，软件栈、模型适配和集群可用性都应纳入比较。不同产品不能只按单卡指标横向判断：应使用目标模型及真实序列长度，验证单卡吞吐、显存余量和多卡扩展效率。
把数据盘和检查点分开设计
训练数据通常以分片文件顺序读取，重点是并发读取能力、元数据处理和故障恢复，而不只是总容量。可在节点配本地 NVMe SSD 作为缓存或临时工作区，将持久数据放在共享存储中；缓存能降低重复读取压力，但必须规划预热、淘汰和数据一致性，不能把唯一副本留在易丢失的本地盘。
检查点（checkpoint）则要关注写入时间、恢复速度和保存策略。先用“检查点总大小 ÷ 实际可用写入带宽”估算理论写入时间，再用目标并发度实测；实际耗时还受文件数量、元数据和网络影响。保存间隔需权衡存储成本与故障后重算时间。预训练基础设施规划应确保检查点不会与训练数据读取争抢同一瓶颈，并定期验证能否完整恢复。
高速互联要匹配通信模式
单机内部的 NVLink/NVSwitch 与跨节点网络解决的问题不同。多机训练还会频繁交换梯度或张量，网络带宽、延迟、拓扑和通信库配置都会影响扩展效率。200 或 400 Gb/s 以太网是部分集群可评估的链路规格，但标称速率不等于应用实际吞吐；若使用 RDMA，还需核对网卡、交换机、驱动和软件栈的兼容性。
节点配置尽量保持一致，并确认 GPU、网卡与 CPU 所连接的 PCIe 通道没有意外争用。通过多节点通信测试观察带宽和延迟，再运行短时训练比较单节点与多节点吞吐。若增加节点后效率明显下降，应先排查数据读取、通信等待和负载不均衡，而不是直接继续扩容。
按顺序验证，再决定采购规模
- 定义负载：记录模型规模、序列长度、精度、并行策略、数据格式及容许的恢复时间。
- 做显存与存储预算：用代表性训练样本测峰值显存；测量数据读取和检查点写入，预留增长空间。
- 验证互联：先测单机多卡，再测多机通信与短时训练，记录吞吐变化和故障日志。
- 按瓶颈扩容：显存不足、GPU 等数据或跨节点等待，对应的解决方案不同；根据测得的瓶颈增加资源或调整配置。
因此，预训练基础设施规划不是追求某一项参数最大，而是让算力、存储与高速互联适配同一训练负载。先验证端到端流程，再扩大集群规模，通常比单纯堆叠加速卡更稳妥。
常见问题
GPU 数量越多，训练一定越快吗？
不一定。数据管线、显存限制和跨节点通信都可能抵消新增 GPU 的收益，应通过多节点短跑测试扩展效率。
本地 NVMe 能替代共享存储吗？
通常不能直接替代。它适合缓存和临时数据；共享存储更适合多节点访问和持久保存，具体组合取决于数据规模与恢复要求。
规划时最先测什么？
先用目标模型测显存峰值、数据读取速度和检查点写入时间，再逐步验证多卡及多节点通信。
