MMagicAIGC 工具箱
MMagic (Multimodal Advanced, Generative, and Intelligent Creation) 是一個供專業(yè)人工智能研究人員和機(jī)器學(xué)習(xí)工程師去處理、編輯和生成圖像與視頻的開源 AIGC 工具箱。
MMagic 允許研究人員和工程師使用最先進(jìn)的預(yù)訓(xùn)練模型,并且可以輕松訓(xùn)練和開發(fā)新的定制模型。目前 MMagic 支持多種圖像和視頻的生成/編輯任務(wù)。
主分支代碼的最佳實踐基于 Python 3.8+ 和 PyTorch 1.9+ 。
MMagic 支持各種基礎(chǔ)生成模型,包括:
-
無條件生成對抗網(wǎng)絡(luò) (GANs)
-
條件生成對抗網(wǎng)絡(luò) (GANs)
-
內(nèi)部學(xué)習(xí)
-
擴(kuò)散模型
-
還有許多其他生成模型即將推出
MMagic 支持各種應(yīng)用程序,包括:
-
圖文生成
-
圖像翻譯
-
3D 生成
-
圖像超分辨率
-
視頻超分辨率
-
視頻插幀
-
圖像補(bǔ)全
-
圖像摳圖
-
圖像修復(fù)
-
圖像上色
-
圖像生成
-
還有許多其他應(yīng)用程序即將推出
主要特性
-
SOTA 算法
MMagic 提供了處理、編輯、生成圖像和視頻的 SOTA 算法。
-
強(qiáng)有力且流行的應(yīng)用
MMagic 支持了流行的圖像修復(fù)、圖文生成、3D生成、圖像修補(bǔ)、摳圖、超分辨率和生成等任務(wù)的應(yīng)用。特別是 MMagic 支持了 Stable Diffusion 的微調(diào)和許多激動人心的 diffusion 應(yīng)用,例如 ControlNet 動畫生成。MMagic 也支持了 GANs 的插值,投影,編輯和其他流行的應(yīng)用。請立即開始你的 AIGC 探索之旅!
-
高效的框架
通過 OpenMMLab 2.0 框架的 MMEngine 和 MMCV, MMagic 將編輯框架分解為不同的組件,并且可以通過組合不同的模塊輕松地構(gòu)建自定義的編輯器模型。我們可以像搭建“樂高”一樣定義訓(xùn)練流程,提供豐富的組件和策略。在 MMagic 中,你可以使用不同的 APIs 完全控制訓(xùn)練流程。得益于 MMSeparateDistributedDataParallel, 動態(tài)模型結(jié)構(gòu)的分布式訓(xùn)練可以輕松實現(xiàn)。
