如何在 PyTorch 中可视化并理解 GPU 显存占用

Hugging Face 博客发布教程，介绍用 torch.cuda.memory._record_memory_history 记录并可视化 PyTorch 训练时的 GPU 显存占用。文章以 Qwen2.5-1.5B 为例拆解模型参数、优化器状态、激活值、梯度和优化器中间值各占多少显存，并给出总显存估算公式和激活值随参数量线性变化的启发式。作者还提供了一个显存估算小工具。