TensorRT英偉達高性能深度學(xué)習(xí)推理平臺

TensorRT 是一個高性能深度學(xué)習(xí)推理平臺，它包括深度學(xué)習(xí)推理優(yōu)化器和運行時，可為深度學(xué)習(xí)推理應(yīng)用提供低延遲和高吞吐量。在推理期間，基于 TensorRT 的應(yīng)用比僅 CPU 平臺的執(zhí)行速度快 40 倍。

TensorRT 基于 CUDA，NVIDIA 的并行編程模型，能夠利用 CUDA-X AI 中的庫、開發(fā)工具和技術(shù)，為人工智能、自動機器、高性能計算和圖形優(yōu)化所有深度學(xué)習(xí)框架的推理。

此庫包含 TensorRT 插件和解釋器（Caffe 和 ONNX），還有一些演示 TensorRT 平臺的使用和功能的示例應(yīng)用。