OpenPPL高性能深度學(xué)習(xí)推理平臺

OpenPPL 是基于自研高性能算子庫的推理引擎，擁有極致調(diào)優(yōu)的性能；提供云原生環(huán)境下 的 AI 模型多后端部署能力，支持 OpenMMLab 等深度學(xué)習(xí)模型的高效部署。

架構(gòu)如下：

高性能

設(shè)計微架構(gòu)友好的任務(wù)/數(shù)據(jù)/指令等多級并行策略，自研 NV GPU、 x86 CPU 計算庫，滿足部署場景對神經(jīng)網(wǎng)絡(luò)推理、常用圖像處理的性能需求

• 支持 GPU T4 平臺 FP16 推理
• 支持 CPU x86 平臺 FP32 推理
• 核心算子優(yōu)化，平均性能領(lǐng)先業(yè)界

OpenMMLab 部署

支持 OpenMMLab 檢測、分類、分割、超分等系列前沿模型，同時提供模型前后處理所需圖像處理算子

• 遵循 ONNX 開放標(biāo)準(zhǔn)，提供 ONNX 轉(zhuǎn)換支持
• 支持網(wǎng)絡(luò)動態(tài)特性
• 提供 MMCV 算子高性能實現(xiàn)

云上多后端部署

面向云端異構(gòu)推理場景，支持多平臺部署

• 支持 x86 FMA & AVX512、NV Turing 架構(gòu)
• 支持異構(gòu)設(shè)備并行推理