TensorFlow Lite 是一款 TensorFlow 用于移動設(shè)備和嵌入式設(shè)備的輕量級解決方案。

TensorFlow 可以在多個平臺上運行，從機架式服務(wù)器到小型 IoT 設(shè)備。但是隨著近年來機器學(xué)習(xí)模型的廣泛使用，出現(xiàn)了在移動和嵌入式設(shè)備上部署它們的需求。而 TensorFlow Lite 允許設(shè)備端的機器學(xué)習(xí)模型的低延遲推斷。

設(shè)計初衷

• 輕量級：允許小 binary size 和快速初始化／啟動的設(shè)備端機器學(xué)習(xí)模型進行推斷。

• 跨平臺：運行時的設(shè)計使其可以在不同的平臺上運行，最先允許的平臺是安卓和 iOS。

• 快速：專為移動設(shè)備進行優(yōu)化，包括大幅提升模型加載時間，支持硬件加速。

現(xiàn)在，越來越多移動設(shè)備內(nèi)置了專門的自定義硬件以高效處理機器學(xué)習(xí)工作負載。TensorFlow Lite 支持安卓神經(jīng)網(wǎng)絡(luò) API，以充分利用新的可用加速器。

當加速器硬件不可用時，TensorFlow Lite 返回至經(jīng)優(yōu)化的 CPU 執(zhí)行操作，確保模型仍然可在大量設(shè)備上快速運行。

架構(gòu)

下圖展示了 TensorFlow Lite 的架構(gòu)設(shè)計：

組件包括

• TensorFlow 模型（TensorFlow Model）：訓(xùn)練后的 TensorFlow 模型，保存在磁盤中。

• TensorFlow Lite 轉(zhuǎn)換器（TensorFlow Lite Converter）：該程序?qū)⒛Ｐ娃D(zhuǎn)換成 TensorFlow Lite 文件格式。

• TensorFlow Lite 模型文件（TensorFlow Lite Model File）：該格式基于 FlatBuffers，經(jīng)過優(yōu)化以適應(yīng)最大速度和最小規(guī)模。

然后將 TensorFlow Lite 模型文件部署到移動 App 中：

• Java API：安卓設(shè)備上適用于 C++ API 的便利封裝。

• C++ API：加載 TensorFlow Lite 模型文件，啟動編譯器。安卓和 iOS 設(shè)備上均有同樣的庫。

• 編譯器（Interpreter）：使用運算符執(zhí)行模型。解釋器支持選擇性加載運算符；沒有運算符時，編譯器只有 70KB，加載所有運算符后，編譯器為 300KB。這比 TensorFlow Mobile（具備一整套運算符）的 1.5M 要小得多。

• 在選擇的安卓設(shè)備上，編譯器將使用安卓神經(jīng)網(wǎng)絡(luò) API 進行硬件加速，或者在無可用 API 的情況下默認執(zhí)行 CPU。

開發(fā)者還使用 C++ API 實現(xiàn)自定義 kernel，它可被解釋器使用。

模型

TensorFlow Lite 已經(jīng)支持多個面向移動端訓(xùn)練和優(yōu)化的模型：

• MobileNet：一種能夠識別超過 1000 種不同物體的視覺模型，專為移動端和嵌入式設(shè)備設(shè)計；

• Inception V3：一種圖像識別模型，功能上類似于 MobileNet，但能提供更高的準確率（當然模型也更大）；

• Smart Reply：一種設(shè)備端對話模型，能對接收到的會話聊天信息提供觸發(fā)性應(yīng)答。第一方和第三方通信 App 可在 Android Wear 上使用該特性。

Inception v3 和 MobileNet 都在 ImageNet 數(shù)據(jù)集上訓(xùn)練過，你可以通過遷移學(xué)習(xí)輕松地在自己的圖像數(shù)據(jù)集上重新訓(xùn)練這些模型。