BytePS高性能分布式深度學習訓練框架

BytePS 是字節(jié)跳動開源的高性能分布式深度學習訓練框架，官方宣稱 BytePS 在性能上顛覆了過去幾年 allreduce 流派一直占據(jù)上風的局面，超出目前其他所有分布式訓練框架一倍以上的性能，且同時能夠支持 Tensorflow、PyTorch、MXNet 等開源庫。

BytePS 通過實現(xiàn)一個通用的抽象層，抽象層可以被各種通用框架引用，實現(xiàn)了同時支持多個框架的可能性，因此能夠支持 Tensorflow、PyTorch、MXNet 等行業(yè)主流訓練框架。

BytePS 提供了 TensorFlow、PyTorch、 MXNet 以及 Keras 的插件，用戶只要在代碼中引用 BytePS 的插件，就可以獲得高性能的分布式訓練。

BytePS 的核心邏輯則實現(xiàn)在 BytePS core 里。具體的通信細節(jié)完全由 BytePS 完成，用戶完全不需要操心。