微軟開源深度學(xué)習(xí)庫，太強了

↓↓↓點擊關(guān)注，回復(fù)資料，10個G的驚喜

目前，數(shù)據(jù)科學(xué)團(tuán)隊在使用機器學(xué)習(xí)模型時正面臨著越來越大的壓力。雖然 AI 的采用和分析持續(xù)上升，但大約有 87% 的數(shù)據(jù)科學(xué)項目從未投入生產(chǎn)。根據(jù) Algorithmia 最近的調(diào)查顯示，22% 的公司需要一到三個月的時間來部署模型以實現(xiàn)業(yè)務(wù)價值，而 18% 的公司需要三個月以上的時間。

為了緩解這一現(xiàn)狀，近日，微軟宣布了開源一款簡單的、多語言的、大規(guī)模并行的機器學(xué)習(xí)庫 Synap，seML（以前稱為 MMLSpark），以幫助開發(fā)人員簡化機器學(xué)習(xí)管道的創(chuàng)建。微軟表示，借助 SynapseML，開發(fā)人員可以構(gòu)建“可擴展的智能”系統(tǒng)來解決跨領(lǐng)域的挑戰(zhàn)，包括文本分析、翻譯和語音處理。

構(gòu)建可用于生產(chǎn)的分布式 ML 管道通常困難，即使對于最有經(jīng)驗的開發(fā)人員也是如此。而對于初學(xué)者來說，組合來自不同生態(tài)系統(tǒng)的工具需要大量代碼，而且許多框架在設(shè)計時并沒有考慮到服務(wù)器集群。SynapseML 通過將多個現(xiàn)有的 ML 框架和新的 Microsoft 算法統(tǒng)一到一個可跨 Python、R、Scala 和 Java 使用的可擴展 API 中來解決這一挑戰(zhàn)。

借助 SynapseML，開發(fā)人員可以構(gòu)建可擴展的智能系統(tǒng)來解決以下領(lǐng)域的挑戰(zhàn)：

? 異常檢測

? 計算機視覺

? 深度學(xué)習(xí)

? 表格識別和人臉識別

? 梯度提升

? 微服務(wù)編排

? 模型可解釋性

? 強化學(xué)習(xí)和個性化

? 搜索和檢索

? 語音處理

? 文本分析

? 翻譯

項目地址：https://github.com/microsoft/SynapseML

編寫容錯分布式程序很復(fù)雜，而且是一個容易出錯的過程。我們來舉個深度網(wǎng)絡(luò)的分布式評估的例子。第一步是將一個 GB 量級的模型發(fā)送到數(shù)百臺工作機器上，而不會使網(wǎng)絡(luò)不堪重負(fù)。第二步，必須協(xié)調(diào)數(shù)據(jù)讀取器以確保所有數(shù)據(jù)都排隊等待處理并且 GPU 處于滿負(fù)荷狀態(tài)。如果新計算機加入或離開集群，新的工作機器必須接收模型的副本，數(shù)據(jù)讀取器需要適應(yīng)與新機器共享工作并重新計算丟失的工作。最后，必須跟蹤進(jìn)度以確保正確釋放資源。

當(dāng)然，像 Horovod 這樣的框架可以管理這一點，但是如果想要與不同的 ML 框架（例如 LightGBM、XGBoost 或 SparkML）進(jìn)行比較，則需要新的環(huán)境和集群。此外，這些訓(xùn)練系統(tǒng)并非旨在服務(wù)或部署模型，因此需要單獨的推理和流媒體架構(gòu)。

SynapseML 通過將許多不同的 ML 學(xué)習(xí)框架與一個可擴展、與數(shù)據(jù)和語言無關(guān)且適用于批量處理、流媒體和服務(wù)應(yīng)用程序的 API 統(tǒng)一起來，簡化了這種體驗。它旨在幫助開發(fā)人員專注于其數(shù)據(jù)和任務(wù)的高級結(jié)構(gòu)上，而無需過多考慮不同 ML 生態(tài)系統(tǒng)和數(shù)據(jù)庫的實現(xiàn)細(xì)節(jié)和特性。

統(tǒng)一的 API 標(biāo)準(zhǔn)化了當(dāng)下許多的工具、框架和算法，從而簡化了分布式 ML 體驗。這使開發(fā)人員能夠為需要多個框架的用例快速組合不同的 ML 框架，例如網(wǎng)絡(luò)監(jiān)督學(xué)習(xí)、搜索引擎創(chuàng)建等。它還可以在單節(jié)點、多節(jié)點和可彈性調(diào)整大小的計算機集群上訓(xùn)練和評估模型，因此開發(fā)人員可以在不浪費資源的情況下擴展他們的工作。

除了在幾種不同的編程語言中的可用性之外，該 API 還對各種數(shù)據(jù)庫、文件系統(tǒng)和云數(shù)據(jù)存儲進(jìn)行了抽象，以簡化實驗。

正如微軟在項目網(wǎng)站上所解釋的那樣，SynapseML 在幾個新方向上擴展了用于大規(guī)模數(shù)據(jù)處理的開源引擎 Apache Spark：“SynapseML 中的工具允許用戶制作功能強大且高度可擴展的模型，這些模型可以跨多個機器學(xué)習(xí)生態(tài)系統(tǒng)完成工作。SynapseML 還為 Spark 生態(tài)系統(tǒng)帶來了新的網(wǎng)絡(luò)功能。通過 HTTP on Spark 項目，用戶可以將任何 Web 服務(wù)嵌入到他們的 SparkML 模型中，并使用他們的 Spark 集群進(jìn)行大規(guī)模的網(wǎng)絡(luò)工作流。”

SynapseML 中的許多工具不需要大型標(biāo)記好的訓(xùn)練數(shù)據(jù)集。相反，SynapseML 為預(yù)構(gòu)建的智能服務(wù)（例如 Azure 認(rèn)知服務(wù)）提供簡單的 API，以快速解決與業(yè)務(wù)和研究相關(guān)的大規(guī)模 AI 挑戰(zhàn)。

SynapseML 能夠讓開發(fā)者將超過 45 種不同的先進(jìn)的機器學(xué)習(xí)服務(wù)直接嵌入到他們的系統(tǒng)和數(shù)據(jù)庫中。最新版本增加了對分布式表單識別、對話轉(zhuǎn)錄和翻譯的支持。

這些即用型算法可以解析各種文檔、實時轉(zhuǎn)錄多說話者對話，此外還能翻譯 100 多種不同語言的文本。

“在過去的五年中，我們一直致力于改進(jìn)和穩(wěn)定用于生產(chǎn)工作負(fù)載的 SynapseML 庫。使用 Azure Synapse Analytics 的開發(fā)人員將很高興地知曉了 SynapseML 現(xiàn)在在這項服務(wù)上普遍可用，并提供企業(yè)服務(wù)。”微軟軟件工程師 Mark Hamilton 在一篇博客文章中寫道。

SynapseML 使開發(fā)人員不僅可以使用現(xiàn)有的模型和服務(wù)，還可以構(gòu)建和訓(xùn)練自己的模型和服務(wù)。此版本的 SynapseML 引入了使用 Vowpal Wabbit 框架 進(jìn)行個性化推薦和上下文老虎機強化學(xué)習(xí)的新算法。這種 Vowpal Wabbit 集成可以為單個模型分配模型訓(xùn)練和預(yù)測，或者跨多個模型并行訓(xùn)練。這對于快速調(diào)整策略優(yōu)化和個性化系統(tǒng)的超參數(shù)非常有效。

Vowpal Wabbit 項目地址：

https://microsoft.github.io/SynapseML/docs/features/vw/Vowpal%20Wabbit%20-%20Overview/

構(gòu)建模型后，研究人員和工程師需要在部署前了解其局限性和行為。SynapseML 通過引入新工具來幫助開發(fā)人員和研究人員構(gòu)建負(fù)責(zé)任的 AI 系統(tǒng)，這些工具揭示了模型為什么會做出這樣的預(yù)測以及如何改進(jìn)訓(xùn)練數(shù)據(jù)集以消除偏見。

更具體地說，SynapseML 包括 Shapley Additive Explanations (SHAP) 和 Locally Interpretable Model-Agnostic Explanations (LIME) 的分布式實現(xiàn)，以解釋視覺、文本和表格模型的預(yù)測。通常，這些“黑盒”方法通常需要對每個解釋進(jìn)行數(shù)千次模型評估，并且解釋大型數(shù)據(jù)集的每個預(yù)測可能需要數(shù)天時間。SynapseML 使開發(fā)人員能夠在數(shù)百臺機器上分配計算，從而顯著加快理解用戶訓(xùn)練模型的過程。

除了有監(jiān)督的模型可解釋性之外，SynapseML 還為無監(jiān)督的負(fù)責(zé)任 AI 引入了幾項新功能。借助微軟的用于理解數(shù)據(jù)集不平衡的新工具，研究人員可以檢測敏感數(shù)據(jù)集特征（例如種族或性別）是否被過度或不足表達(dá)，并采取措施提高模型公平性。此外，SynapseML 的分布式孤立森林使研究人員能夠在不需要標(biāo)記訓(xùn)練數(shù)據(jù)的情況下檢測其數(shù)據(jù)集中的異常值和異常情況。

“我們的目標(biāo)是幫助開發(fā)人員簡化分布式實現(xiàn)細(xì)節(jié)，并使他們能夠?qū)⒎植际讲渴鸬礁鞣N數(shù)據(jù)庫、集群和語言中，而無需更改原來的代碼，”Hamilton 說道。

參考鏈接：

https://www.microsoft.com/en-us/research/blog/synapseml-a-simple-multilingual-and-massively-parallel-machine-learning-library/

https://venturebeat.com/2021/11/17/microsoft-open-sources-synapseml-for-developing-ai-pipelines/

推薦閱讀

用Python學(xué)線性代數(shù)：自動擬合數(shù)據(jù)分布
Python 用一行代碼搞事情，機器學(xué)習(xí)通吃
Github 上最大的開源算法庫，還能學(xué)機器學(xué)習(xí)！
JupyterLab 這插件太強了，Excel靈魂附體
終于把 jupyter notebook 玩明白了
一個超好用的 Python 標(biāo)準(zhǔn)庫，666?
幾百本編程中文書籍（含Python）持續(xù)更新
100天搞定機器學(xué)習(xí)|Day63 徹底掌握 LightGBM
100天搞定機器學(xué)習(xí) 番外：使用FastAPI構(gòu)建機器學(xué)習(xí)API

你也「在看」嗎？??