EPL DOCUMENTATION

EPL (Easy Parallel Library) 是一个高效易用的分布式大模型训练框架。

EPL

• 概览
  • 使用EPL添加分布式策略
  • Citation
  • 联系我们
• 安装
  • 依赖
  • 从源码安装
• 快速开始
  • EPL 分布式策略表达
  • 启动分布式训练

API

• 并行化接口
  • Parallel Strategy 原语
  • set_default_strategy
  • 接口使用说明与要求
• 接口使用范例
  • 数据并行
  • 流水并行
  • 算子拆分
• 配置
  • Pipeline 配置
  • Gradient Checkpoint (GC) 配置
  • Zero 配置
  • Offload 配置
  • Memory-efficient AMP 配置
  • Optimizer 配置
  • Cluster 配置
  • 通信配置
  • IO配置
  • Auto Parallel配置
• Env
  • cluster
  • config

使用教程

• 数据并行
• 流水并行
• MoE算子拆分并行