煉丹神器 Aim，高效管理煉丹實驗
點擊下方“AI算法與圖像處理”，一起進步！
重磅干貨，第一時間送達
在我們煉丹的時候，經(jīng)常面臨需要做多組實驗,但是實驗結(jié)果又不好管理的情況。今天看 Github 的時候，發(fā)現(xiàn)了一個不錯的機器學習實驗管理工具，可以很方便的集成進 PyTorch、 TensorFlow 和 XGBoost 等知名的訓練框架。
廢話不說，先上鏈接：
https://github.com/aimhubio/aim
Aim 的 logo 和介紹如下：
翻譯過來就是：Aim 記錄你的訓練過程，還可以用很漂亮的 UI 界面來比較多組實驗，另外，還有 API 工具去用代碼查詢多組實驗記錄。
介紹
Aim 是一個開源、自托管的 ML 實驗跟蹤工具。Aim 擅長跟蹤大量（1000 次級別）運行，可以用高性能和漂亮的 UI 進行訓練結(jié)果的查看和比較。
您不僅可以通過 UI 使用 Aim，還可以通過代碼查詢訓練記錄，以實現(xiàn)自動化分析。Aim 的使命是讓 AI 開發(fā)工具大眾化。
看官方展示的動圖，管理頁面的確挺酷炫的。
目前? Aim 已經(jīng)集成了多個知名的機器學習和深度學習訓練框架，包括 PyTorch、TensorFlow、Keras、XGBoost。
安裝和使用
Aim 的安裝和使用真的挺簡單的。元峰也安裝使用了一下，的確簡單。
step1 安裝
pip3 install aim
step2 把 Aim 插入訓練代碼
Aim 可以很簡單的插入 PyTorch、TF 等框架，并實現(xiàn)了很多插件。以 PyTorch 為例，示例代碼：
from?aim?import?Run,?Image,?Distribution
??
#?Initialize?a?new?run
run?=?Run()
#?Log?run?parameters
run["hparams"]?=?{
????"learning_rate":?0.001,
????"batch_size":?32,
}
#?Log?artefacts
for?step?in?range(1000):
????#?Log?metrics
????run.track(loss_val,?name='loss',?step=step,?context={?"subset":?"train"?})
????run.track(accuracy_val,?name='acc',?step=step,?context={?"subset":?"train"?})
??
????#?Log?images
????run.track(Image(tensor_or_pil,?caption),?name='gen',?step=step,?context={?"subset":?"train"?})
????#?Log?distributions
????run.track(Distribution(tensor),?name='gradients',?step=step,?context={?"type":?"weights"?})
step 3 打開 UI 界面
在訓練代碼所在的目錄，打開終端，直接aim up
然后在瀏覽器輸入它給出的 訪問地址，在瀏覽器打開，就可以看到頁面了， Aim提供的工具還挺多的。
例如，指標管理：
圖片可視化：
參數(shù)可視化：
我的實驗
因為早晨時間有限，我只在 PyTorch 上進行了一個簡單的實驗，插入的代碼也很簡單：
run.track(loss,?name='train_loss',?step=batch_idx,?context={?"subset":?"train"?})
只記錄了一個 loss 的變化。
這個工具真的挺智能的，如果我們啟動多次訓練，它會自動的記錄多組實驗。例如，我啟動了 2 次訓練，可以看到它自動的記錄了 2次 實驗的結(jié)果。
其他的機器學習管理工具列表：
除了本文介紹的 Aim 外，還有一些知名的 AI 實驗管理工具，打開可以自行在 Github 查看。
wandb.ai
comet.ml
neptune.ai
allegro trains
mlflow
guild.ai
sacred
test-tube
tensorboard
時間有限，我要去上班搬磚了，今天的分享先簡單一些，抱歉～
交流群
歡迎加入公眾號讀者群一起和同行交流，目前有美顏、三維視覺、計算攝影、檢測、分割、識別、NeRF、GAN、算法競賽等微信群
個人微信（如果沒有備注不拉群！） 請注明：地區(qū)+學校/企業(yè)+研究方向+昵稱
下載1：何愷明頂會分享
在「AI算法與圖像處理」公眾號后臺回復：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經(jīng)典工作的總結(jié)分析
下載2：終身受益的編程指南：Google編程風格指南
在「AI算法與圖像處理」公眾號后臺回復：c++，即可下載。歷經(jīng)十年考驗，最權(quán)威的編程規(guī)范！
下載3 CVPR2021 在「AI算法與圖像處理」公眾號后臺回復：CVPR，即可下載1467篇CVPR?2020論文 和 CVPR 2021 最新論文
