DeepSpeed基于 PyTorch 的深度學習優(yōu)化庫

DeepSpeed 是一個深度學習優(yōu)化庫，它可以使分布式訓練變得容易、高效和有效。

• 10x 更大的模型
• 5x 更快地訓練
• 最小的代碼更改

DeepSpeed 可以在當前一代的 GPU 集群上訓練具有超過千億個參數(shù)的 DL 模型，而與最新技術相比，其系統(tǒng)性能可以提高 5 倍以上。DeepSpeed 的早期采用者已經(jīng)生產(chǎn)出一種語言模型（LM， Language Model），它具有超過 170 億個參數(shù)，稱為 Turing-NLG（Turing Natural Language Generation，圖靈自然語言生成），成為 LM 類別中的新 SOTA。 

DeepSpeed API 是在 PyTorch 上進行的輕量級封裝，這意味著開發(fā)者可以使用 PyTorch 中的一切，而無需學習新平臺。此外，DeepSpeed 管理著所有樣板化的 SOTA 訓練技術，例如分布式訓練、混合精度、梯度累積和檢查點，開發(fā)者可以專注于模型開發(fā)。同時，開發(fā)者僅需對 PyTorch 模型進行幾行代碼的更改，就可以利用 DeepSpeed 獨特的效率和效益優(yōu)勢來提高速度和規(guī)模。