精精品人妻一区二区三区,国产精品无码激情视频,xxxxwwww国产,亚洲男女啪啪,日本黄色直播,污污网站免费,狠操网,欧美黄色毛片

作者：SHREYA SHANKAR，編譯：機器之心

大家好哇，新同學(xué)都叫我張北海，老同學(xué)都叫我老胡，其實是一個人，只是我特別喜歡章北海這個《三體》中的人物，張是錯別字。

今天帶給大家一個新故事，Shreya Shankar 是一位曾在初創(chuàng)公司、谷歌大腦和 Facebook 等擔(dān)任工程師的機器學(xué)習(xí)從業(yè)者。現(xiàn)在她選擇從產(chǎn)業(yè)回歸學(xué)術(shù)研究，回到學(xué)校攻讀博士學(xué)位。

很多同學(xué)在面臨讀博和工作的選擇時會猶豫不決，或者對機器學(xué)習(xí)工程師工作本身充滿懷疑慮，都能從中獲得一些啟發(fā)。

SHREYA SHANKAR

她撰寫了一篇博客分享自己在行業(yè)工作中的見聞和感想。在這篇博客中，我們能夠看到當(dāng)前機器學(xué)習(xí)工程的現(xiàn)狀。以下是博客原文。

人們一直在討論機器學(xué)習(xí)工程（MLE）是否應(yīng)該算作軟件工程的一個子集。之前我曾從數(shù)據(jù)工程的角度思考 MLE，但這并不合適。即使是針對特定的預(yù)測任務(wù)，自動化端到端機器學(xué)習(xí)（ML）的生命周期也很難預(yù)估。

在機器學(xué)習(xí)工程中，有 Task MLE 和 Platform MLE 兩種關(guān)鍵業(yè)務(wù)職位。

Task MLE 負(fù)責(zé)在生產(chǎn)中維持特定的 ML 流水線（或一小部分 ML 流水線），關(guān)注關(guān)鍵任務(wù)的特定模型。當(dāng) top-line 指標(biāo)下降時，這些關(guān)鍵任務(wù)被分頁，以「修復(fù)」某些東西。Task MLE 可能會告訴你模型上次重新訓(xùn)練的時間、評估結(jié)果等。

Task MLE 的工作太繁瑣了。數(shù)據(jù)科學(xué)家對模型進(jìn)行原型設(shè)計并提出功能創(chuàng)意，Task MLE 則需要「生產(chǎn)」這些創(chuàng)意。這需要編寫 pipeline 將數(shù)據(jù)轉(zhuǎn)換為模型輸入、訓(xùn)練和重新訓(xùn)練模型、評估模型，并將預(yù)測結(jié)果轉(zhuǎn)儲到某處。Task MLE 需要分階段監(jiān)督部署，并快速診斷和對 ML 相關(guān)錯誤做出響應(yīng)。

我曾經(jīng)就是一個 Task MLE，這些工作令我非常痛苦。我對很多細(xì)節(jié)都抱有疑問，例如為什么在模型重新訓(xùn)練時，訓(xùn)練集會自動刷新而評估集保持不變，必須有人手動刷新評估集？

我從來不希望自己在科學(xué)上不嚴(yán)謹(jǐn)，但我經(jīng)常發(fā)現(xiàn)自己的實驗代碼中包含模型開發(fā)期間就評估不成立的訓(xùn)練假設(shè)，更不用說部署了。

有時，我又太科學(xué)了，以至于公司賠錢。我自動化了一個超參數(shù)調(diào)整過程，該過程根據(jù)時間將訓(xùn)練集和驗證集分成多個子集，并選擇了在所有集合中性能平均最佳的超參數(shù)。事后才意識到這是多么愚蠢，我應(yīng)該采用為最新評估集生成最佳模型的超參數(shù)。

我現(xiàn)在已經(jīng)對生產(chǎn) ML 進(jìn)行了足夠的研究，知道簡單地過擬合最新數(shù)據(jù)并不斷重新訓(xùn)練是值得的。成功的公司就是這樣做的。

當(dāng)人們說小公司因為沒有預(yù)算而無法每天重復(fù)訓(xùn)練時，我感到很困惑。重新訓(xùn)練許多 xgboost 或 scikit-learn 模型最多只需要花費幾美元，大多數(shù)模型并不是大型語言模型。我詢問了許多小型公司的 Task MLE 是否以及如何監(jiān)督他們的 pipeline 并進(jìn)行分配，他們中的大多數(shù)人都提到了按小時、天或周安排訓(xùn)練。

「我知道這并沒有真正解決數(shù)據(jù)漂移（data drift）問題」，我詢問的 Task MLE 害羞地說道。

我認(rèn)為這些問題是非常重要且有趣的，可悲的是，現(xiàn)在只有有趣。最終所有的問題都導(dǎo)致一個結(jié)果：數(shù)據(jù)不一致，模型表現(xiàn)不佳，業(yè)務(wù)指標(biāo)受到影響。

第二種 MLE 是 Platform MLE，他們負(fù)責(zé)幫助 Task MLE 自動化其繁瑣的工作部分。Platform MLE 構(gòu)建支持多個任務(wù)的 pipeline（包括模型），而 Task MLE 負(fù)責(zé)解決特定任務(wù)。這類似于在軟件工程（SWE）中構(gòu)建基礎(chǔ)設(shè)施與在基礎(chǔ)設(shè)施之上構(gòu)建軟件。但我稱它們?yōu)?Platform MLE 而不是 Platform SWE，因為我認(rèn)為如果不充分了解 ML，就不可能實現(xiàn) ML 「保姆級」自動化。當(dāng)一個機構(gòu)擁有多個 ML pipeline 時，就會產(chǎn)生對 Platform MLE 的需求。Platform MLE 和 Task MLE 的主要區(qū)別包括

Platform MLE 負(fù)責(zé) pipeline 功能的創(chuàng)建，Task MLE 負(fù)責(zé) pipeline 使用功能；
Platform MLE 負(fù)責(zé)模型訓(xùn)練框架，Task MLE 負(fù)責(zé)編寫模型架構(gòu)的配置文件和重新訓(xùn)練；
Platform MLE 負(fù)責(zé)觸發(fā) ML 性能下降警報，Task MLE 對警報采取行動。

對無效數(shù)據(jù)重新訓(xùn)練沒有任何價值

Platform MLE 不僅存在于渴望達(dá)到 FAANG 規(guī)模（FAANG 是美國市場上五大最受歡迎和表現(xiàn)最佳的科技股的首字母縮寫）的公司中。它們通常存在于任何具有多個 ML 任務(wù)的公司中。我認(rèn)為，MLOps 目前被認(rèn)為是非常有利可圖的。每個 ML 公司都需要功能、監(jiān)控、可觀察性等。Platform MLE 更容易構(gòu)建這些服務(wù) —— 編寫一個每天刷新功能表的 pipeline，標(biāo)準(zhǔn)化所有 ML 工具的日志記錄，保存和版本數(shù)據(jù)集快照。具有諷刺意味的是，MLOps 初創(chuàng)公司尋求用付費服務(wù)來取代 Platform MLE，不過這些公司也會要求 Platform MLE 將此類服務(wù)集成到他們的公司中。

目前，我最感興趣的 Platform MLE 功能是監(jiān)控和調(diào)試突然的數(shù)據(jù)漂移。Platform MLE 具有局限性，即無法更改模型、輸入或輸出，但其可以用來確定這些信息何時以及如何被破壞。目前 SOTA 解決方案是監(jiān)控覆蓋范圍的變化（即部分缺失）和單個特征（即輸入）的分布以及模型輸出隨時間的變化。這稱為數(shù)據(jù)驗證，當(dāng)這些變化超出某個閾值（例如，覆蓋率下降 25%）時，Platform MLE 會觸發(fā)警報。

數(shù)據(jù)驗證實現(xiàn)得到了很好的召回率。我認(rèn)為至少 95% 的數(shù)據(jù)漂移（主要是由工程問題引起的）會被數(shù)據(jù)驗證警報捕獲。但精度比較低（大多數(shù)任務(wù)都低于 20%），并且它需要一個 Task MLE 來枚舉所有特征和輸出的閾值。在實踐中，精度可能會更低，因為 Task MLE 具有警報疲勞，還有可能導(dǎo)致大多數(shù)警報靜音。

我們可以用召回來換取精度嗎？并非如此，高召回率是監(jiān)控系統(tǒng)的重點，可以用來捕獲 bug。我們不必做到監(jiān)控每個特性和輸出，但是警報必須具有等級，否則它們將無法對 Task MLE 進(jìn)行操作。重新訓(xùn)練來解除警報也是不可取的，因為對無效數(shù)據(jù)進(jìn)行重新訓(xùn)練沒有任何價值。

有一段時間，我認(rèn)為數(shù)據(jù)驗證是準(zhǔn)確率、精度、召回率等 ML 指標(biāo)監(jiān)控的等效物。由于缺乏真值標(biāo)簽，我們幾乎不可能實時進(jìn)行 ML 指標(biāo)監(jiān)控。許多機構(gòu)只能每周或每月獲得標(biāo)簽，這樣一來時間太長了。此外，并非所有數(shù)據(jù)都被標(biāo)記，數(shù)據(jù)標(biāo)記也是一個浩大的工程。我認(rèn)為唯一需要監(jiān)控的是模型輸入和輸出。

然而我大錯特錯。假設(shè) Task MLE 能夠監(jiān)控實時 ML 指標(biāo)，數(shù)據(jù)驗證仍然非常重要。一方面，不同任務(wù)的模型可以從相同的功能中讀取。如果 Platform MLE 可以正確觸發(fā)損壞的功能警報，則多個 Task MLE 可以受益。

其次，在現(xiàn)代數(shù)據(jù)堆棧時代，模型特征以及輸出（即特征存儲）經(jīng)常被數(shù)據(jù)分析師使用。我曾經(jīng)在 Snowflake 中匆忙執(zhí)行了一堆查詢，卻沒想到與年齡相關(guān)的列有一半是負(fù)值，年齡怎么會有負(fù)值呢？然而我沒有檢查就交給了 CEO。我認(rèn)為犯這樣的錯誤是可以理解的，這是大數(shù)據(jù)的問題，信息有對有錯。

博士一年，我的研究更像是一種探索

現(xiàn)在，我已經(jīng)讀完了博士一年級。我意識到無論是 Task MLE 還是 Platform MLE，我們都是在確保滿足 SLO（Service-Level Objectives，服務(wù)水平目標(biāo)，通常是一個百分比，并與一個時間范圍掛鉤）。這讓我想起了數(shù)據(jù)工程，簡單地說，數(shù)據(jù)工程師負(fù)責(zé)向其他員工提供數(shù)據(jù)，ML 工程師負(fù)責(zé)確保這些數(shù)據(jù)及其相關(guān)的應(yīng)用程序 (例如 ML 模型) 不是垃圾。

我想了很多關(guān)于什么是好的模型質(zhì)量的問題。我討厭質(zhì)量這個詞。這是一個定義模糊的術(shù)語，但實際上每個組織都有不同的定義。

有了數(shù)據(jù) SLO，我們可以認(rèn)為數(shù)據(jù)驗證是一個成功的概念，因為它以二進(jìn)制方式清楚地定義了每個模型輸入和輸出的質(zhì)量。以上述年齡查詢?yōu)槔?，年齡要么是正數(shù)，要么不是。記錄要么匹配預(yù)定義的模式，要么不匹配，要么滿足 SLO，要么不滿足。

假設(shè)每個組織都能夠清楚地定義他們的數(shù)據(jù)和模型質(zhì)量 SLO，在 ML 設(shè)置中，我們應(yīng)該在哪里驗證數(shù)據(jù)？傳統(tǒng)上，以數(shù)據(jù)為中心的規(guī)則是由 DBMS 執(zhí)行的。在 Postgres 的論文中，美國計算機科學(xué)家 Stonebraker 簡明扼要地闡述了數(shù)據(jù)庫執(zhí)行規(guī)則的必要性：在應(yīng)用程序?qū)雍茈y執(zhí)行規(guī)則，因為應(yīng)用程序通常需要訪問比事件所需的更多的數(shù)據(jù)。

一年前，我的導(dǎo)師告訴我一個短語「constraints and triggers for ML pipeline health」，我沒有完全理解其中的含義。在 ex-Task MLE 中，我認(rèn)為這個短語意味著使用代碼檢測 ML pipeline 組件以記錄均值、中值以及輸入和輸出的各種聚合，并在數(shù)據(jù)驗證檢查失敗時拋出錯誤 —— 這也是我在工作中所做的事情。

現(xiàn)在我已經(jīng)有了更多的 Platform MLE 經(jīng)驗，Platform MLE 擁有數(shù)據(jù)管理器，Task MLE 擁有應(yīng)用程序或 ML pipelines 的下游部分。Platform MLE 應(yīng)該在特征表中強制執(zhí)行規(guī)則（例如，數(shù)據(jù)驗證），以便在查詢是否有任何錯誤時提醒 Task MLE。Platform MLE 應(yīng)該執(zhí)行觸發(fā)器，就像各種臨時后處理 Task MLE 在將預(yù)測呈現(xiàn)給客戶之前對預(yù)測所做的那樣。

我還想了很多關(guān)于如何讓研究者更容易指定和理解模型質(zhì)量的問題。ML 公司擁有自己的生產(chǎn) ML 框架（例如 TFX）—— 有些是開源的，有些是不公開的。作為 MLOps 初創(chuàng)公司的一部分，許多新框架即將問世。我曾經(jīng)認(rèn)為人們不會切換到新框架的原因是因為重寫所有 pipeline 代碼很麻煩。

圖源：https://databricks.com/glossary/mlops

ML pipeline 框架需要與 DBMS 緊密結(jié)合，DBMS 知道 Task MLE 想要什么類型的觸發(fā)器，了解數(shù)據(jù)驗證并調(diào)整警報以具有良好的精度和召回率，并且具有可擴展性。也許這就是為什么我最近與之交談的許多人似乎正在轉(zhuǎn)向 Vertex AI—— 一種充當(dāng)數(shù)據(jù)庫的服務(wù)，可以做很多事情。

我應(yīng)該進(jìn)行一系列科學(xué)問題并進(jìn)行大量實驗以得出結(jié)論，我的博士學(xué)位更像是一種探索，在那里我研究數(shù)據(jù)管理的工作原理，并嘗試就它將如何在 MLE 生態(tài)系統(tǒng)中發(fā)揮作用提出看法。它給人一種扎根理論的感覺，我將不斷地根據(jù)我學(xué)到的新信息更新我的觀點。

原文鏈接：https://www.shreya-shankar.com/phd-year-one/?continueFlag=bfd381b12d97c9b15ebc46c66482df00

推薦閱讀

我的考研簡史

吳恩達(dá)，屬實牛逼

用OpenAI給你的朋友川普寫封信

用 Python 從 PDF 抽取 Excel 2.

整理不易，點贊三連↓

国产秋霞理论久久久电影-婷婷色九月综合激情丁香-欧美在线观看乱妇视频-精品国avA久久久久久久-国产乱码精品一区二区三区亚洲人-欧美熟妇一区二区三区蜜桃视频

讀博了