「煉丹」師的福音！支持AMD GPU，PyTorch 1.8來了！

  新智元報道  

來源：外媒

編輯：PY、LQ

【新智元導讀】PyTorch1.8發(fā)布，整體來看，本次更新涵蓋1.7版本發(fā)布以來，共計3000多次Github提交，包括編譯、代碼優(yōu)化、科學計算前端 API 以及通過 pytorch.org 提供的二進制文件支持AMD ROCm。

PyTorch是一個開源的Python機器學習庫。2017年1月，由Facebook人工智能研究院（FAIR）基于Torch推出了PyTorch，用于自然語言處理等應用程序。

近日，F(xiàn)acebook發(fā)布了PyTorch 1.8新版本，加入了對AMD ROCm的支持，可以不用去配置Docker在原生環(huán)境下運行。

 

 

其中一些重大更新包括：

• 支持通過 torch.fx進行函數(shù)轉(zhuǎn)換；

  
  

• 增加和調(diào)整 API以支持 FFT( torch.fft )、線性代數(shù)函數(shù)( torch.linalg )

  
  

• 添加了復雜張量自動求導（autograd）的支持，并提升了矩陣計算 hessian 和 jacobian 的能力；

  
  

• 對分布式訓練進行了重大更新和改進，包括：改進 NCCL 可靠性，支持管道并行，RPC 分析，支持添加梯度壓縮的通訊 鉤子。

 

在PyTorch 1.8版本中，官方對一些PyTorch庫也進行了相應的更新，主要包括 TorchCSPRNG、TorchVision、TorchText 和 TorchAudio。

PyTorch 1.8版本中的功能分為穩(wěn)定版 (Stable)、測試版 (Beta) 和原型版 (Prototype)。

 

新增及更新 API

 

新增及更新 API 包括：與 NumPy 兼容的額外 API，及在推理和訓練時方面，提高代碼性能的額外 API。

 

PyTorch 1.8 主要更新功能簡介：

• [穩(wěn)定版] Torch.fft 支持高性能 NumPy 中的 FFT

實現(xiàn)了 NumPy np.ft 功能的同時，還支持硬件加速和 autograd

• [測試版] torch.linalg 將支持 NumPy 中的線性代數(shù)函

為常見的線性代數(shù)運算提供與 NumPy 類似的支持，支持 Cholesky 分解、 行列式、特征值等功能。

• [測試版] 利用 FX 進行 Pthon 代碼轉(zhuǎn)換。

 

增強分布式訓練

 

PyTorch 1.8支持穩(wěn)定的異步錯誤/超時處理，以提高 NCCL 穩(wěn)定性；

 

此外，還增加了對管道并行的支持，可將數(shù)據(jù)拆解成更小的塊以提高并行計算效率。

 

并可以通過 DDP 中的通訊鉤子進行梯度壓縮，用于控制如何在workers之間同步梯度。

 

此外，PyTorch 1.8 還增加了一些 prototype 特性，具體如下：

• ZeroRedundancyOptimizer：有助于減少每個線程的內(nèi)存占用；

• 進程組 NCCL 發(fā)送/接收：允許用戶在 Python 層（而非 C++ 層）實現(xiàn)集合操作；

• RPC 中用 TensorPipe 支持 CUDA：為使用 PyTorch RPC 和多 GPU 機器的用戶帶來速度提升；

• 遠程模塊：允許用戶像操作本地模塊那樣操作遠程 worker 上的模塊。

PyTorch 移動端

 

本次更新發(fā)布了圖像分割模型DeepLabV3在安卓和IOS，能更好地幫助新用戶將 PyTorch 模型部署在移動端。

 

PyTorch 移動端新增教程包括：

• iOS 端用 DeepLabV3 進行圖像分割

• Android 端用 DeepLabV3 進行圖像分割

 

同時為老用戶提供開發(fā)工具，讓其更得心應手地用 PyTorch 進行移動端開發(fā)。

  

性能優(yōu)化工具

 

新增測試版benchmark utils ，使用戶能夠更輕松地監(jiān)控模型性能。還開放了一個自動量化 API，能改進 Eager Mode Quantization。

• Benchmark utils

Benchmark utils 允許用戶進行精確的性能測量，并提供組合工具，幫助制定基準和進行后期處理。

• FX Graph Mode Quantization

新增的自動量化 API，它通過增加函數(shù)支持和自動化量化過程，改進 Eager Mode Quantization。

 

硬件支持

 

PyTorch 1.8 版本新增了兩個 測試版本特性

 

• 強化 PyTorch Dispatcher 的能力，使其適應 C++ 中后端開發(fā)

支持用戶在 pytorch/pytorch repo 之外創(chuàng)建新的樹外設備，并與本地 PyTorch 設備保持同步。

 

• AMD GPU 二進制文件現(xiàn)已推出

新增對 ROCm wheel 的支持。

需要注意的是，PyTorch 1.8 僅在 Linux 系統(tǒng)中支持 AMD ROCm。

 

參考資料：

https://www.phoronix.com/scan.php?page=news_item&px=PyTorch-1.8-Released

https://pytorch.org/blog/pytorch-1.8-released/

https://twitter.com/cHHillee/status/1367621538791317504