DeepSpeed

微软开源的大模型训练优化工具库，支持分布式并行策略