CTranslate2Transformer 模型的快速推理引擎
認(rèn)領(lǐng)
0粉絲
CTranslate2 是一個(gè) C++ 和 Python 庫，用于使用 Transformer 模型進(jìn)行高效推理。該項(xiàng)目實(shí)現(xiàn)了一個(gè)自定義運(yùn)行時(shí)，應(yīng)用了許多性能優(yōu)化技術(shù)，如權(quán)重量化、層融合、批量重新排序等，以加速和減少Transformer 模型在 CPU 和 GPU 上的內(nèi)存使用。目前支持以下模型類
簡(jiǎn)介
CTranslate2 是一個(gè) C++ 和 Python 庫，用于使用 Transformer 模型進(jìn)行高效推理。該項(xiàng)目實(shí)現(xiàn)了一個(gè)自定義運(yùn)行時(shí)，應(yīng)用了許多性能優(yōu)化技術(shù)，如權(quán)重量化、層融合、批量重新排序等，以加速和減少Transformer 模型在 CPU 和 GPU 上的內(nèi)存使用。目前支持以下模型類... 更多
技術(shù)信息
開源協(xié)議
MIT
開發(fā)語言
C/C++
Python
操作系統(tǒng)
跨平臺(tái)
軟件類型
開源軟件
所屬分類
神經(jīng)網(wǎng)絡(luò)/人工智能、 機(jī)器學(xué)習(xí)/深度學(xué)習(xí)
開源組織
無
地區(qū)
不詳
適用人群
未知
評(píng)價(jià)
0.0（滿分 10 分）0 個(gè)評(píng)分
什么是點(diǎn)評(píng)分
圖片
表情
全部評(píng)價(jià)(
0)
推薦率
100%