开发者「第二大脑」来袭
微软推出专为大语言模型训练定制的 FP8 混合精度训练框架,比 BF16 快 64%
2023.11.10
据 IT 之家 11 月 10 日报道,为了提高处理速度,降低内存使用量和通信成本,来自 Microsoft Azure 和 Microsoft Research 的一组研究人员推出了一个高效的 FP8 混合精度框架,专为大语言模型(LLM)训练量身定制。
微软引入了三个优化阶段,利用 FP8 进行分布式和混合精度训练。随着这些层级的进展,FP8 集成程度的提高变得明显,这表明对 LLM 训练过程的影响更大。
微软经过测试,与广泛采用的 BF16 混合精度方法相比,内存占用减少 27% 至 42%,权重梯度通信开销显著降低 63% 至 65%。运行速度比广泛采用的 BF16 框架(例如 Megatron-LM)快了 64%,比 Nvidia Transformer Engine 的速度快了 17%。在训练 GPT-175B 模型时,混合 FP8 精度框架在 p00 GPU 平台上节省 21% 的内存,而且相比较 TE(Transformer Engine),训练时间减少 17%。
原文链接