1

Parallelism

hoshi-hiyouga edited this page 2023-12-23 18:13:22 +08:00

Table of Contents

• DDP
• ZeRO

DDP

ZeRO

English Docs

• Requirements
  • Environment (WIP)
  • Models (WIP)
  • Datasets (WIP)
• Usage
  • Command Line Interface (WIP)
  • LLaMA Board Web UI (WIP)
• Guides
  • Pretraining (WIP)
  • Supervised Finetuning (WIP)
  • Preference Optimization (WIP)
  • Inference (WIP)
  • Deployment (WIP)
  • Evaluation (WIP)
• Features
  • Parallelism (WIP)
  • Acceleration (WIP)
  • Memory Saving (WIP)
  • Others (WIP)

中文文档

• 前期准备
  • 环境（未完成）
  • 模型（未完成）
  • 数据集（未完成）
• 使用方法
  • 命令行接口（未完成）
  • LLaMA Board 网页接口（未完成）
• 导引
  • 预训练（未完成）
  • 指令监督微调（未完成）
  • 偏好优化（未完成）
  • 推理（未完成）
  • 部署（未完成）
  • 评估（未完成）
• 特性
  • 并行化（未完成）
  • 速度优化（未完成）
  • 空间优化（未完成）
  • 其它（未完成）