MMagicAIGC 工具箱

MMagic (Multimodal Advanced, Generative, and Intelligent Creation) 是一個供專業(yè)人工智能研究人員和機(jī)器學(xué)習(xí)工程師去處理、編輯和生成圖像與視頻的開源 AIGC 工具箱。

MMagic 允許研究人員和工程師使用最先進(jìn)的預(yù)訓(xùn)練模型，并且可以輕松訓(xùn)練和開發(fā)新的定制模型。目前 MMagic 支持多種圖像和視頻的生成/編輯任務(wù)。

主分支代碼的最佳實踐基于 Python 3.8+ 和 PyTorch 1.9+ 。

MMagic 支持各種基礎(chǔ)生成模型，包括：

• 無條件生成對抗網(wǎng)絡(luò) (GANs)

• 條件生成對抗網(wǎng)絡(luò) (GANs)

• 內(nèi)部學(xué)習(xí)

• 擴(kuò)散模型

• 還有許多其他生成模型即將推出

MMagic 支持各種應(yīng)用程序，包括：

• 圖文生成

• 圖像翻譯

• 3D 生成

• 圖像超分辨率

• 視頻超分辨率

• 視頻插幀

• 圖像補(bǔ)全

• 圖像摳圖

• 圖像修復(fù)

• 圖像上色

• 圖像生成

• 還有許多其他應(yīng)用程序即將推出

主要特性

• SOTA 算法

  MMagic 提供了處理、編輯、生成圖像和視頻的 SOTA 算法。

• 強(qiáng)有力且流行的應(yīng)用

  MMagic 支持了流行的圖像修復(fù)、圖文生成、3D生成、圖像修補(bǔ)、摳圖、超分辨率和生成等任務(wù)的應(yīng)用。特別是 MMagic 支持了 Stable Diffusion 的微調(diào)和許多激動人心的 diffusion 應(yīng)用，例如 ControlNet 動畫生成。MMagic 也支持了 GANs 的插值，投影，編輯和其他流行的應(yīng)用。請立即開始你的 AIGC 探索之旅！

• 高效的框架

  通過 OpenMMLab 2.0 框架的 MMEngine 和 MMCV， MMagic 將編輯框架分解為不同的組件，并且可以通過組合不同的模塊輕松地構(gòu)建自定義的編輯器模型。我們可以像搭建“樂高”一樣定義訓(xùn)練流程，提供豐富的組件和策略。在 MMagic 中，你可以使用不同的 APIs 完全控制訓(xùn)練流程。得益于 MMSeparateDistributedDataParallel, 動態(tài)模型結(jié)構(gòu)的分布式訓(xùn)練可以輕松實現(xiàn)。