無需訓練的文本生成視頻：ControlVideo: Training-free Controllable Text-to-Video Generation

1. 論文信息

題目：ControlVideo: Training-free Controllable Text-to-Video Generation

作者：Yabo Zhang， Yuxiang Wei, Dongsheng Jiang, Xiaopeng Zhang, Wangmeng Zuo, Qi Tian

鏈接：https://arxiv.org/pdf/2305.13077.pdf

代碼：https://github.com/YBYBZhang/ControlVideo

2. 引言

大規(guī)模擴散模型在文本到圖像合成方面取得了巨大的突破，并在創(chuàng)意應(yīng)用方面取得了成功。一些工作試圖在視頻領(lǐng)域復(fù)制這個成功，即在野外世界建模高維復(fù)雜視頻分布。然而，訓練這樣的文本到視頻模型需要大量高質(zhì)量的視頻和計算資源，這限制了相關(guān)社區(qū)進一步的研究和應(yīng)用。為了減少過度的訓練要求，我們研究了一種新的高效形式：基于文本到圖像模型的可控文本到視頻生成。這個任務(wù)旨在根據(jù)文本描述和運動序列（例如深度或邊緣地圖）生成視頻。

如圖所示，它可以有效地利用預(yù)訓練的文本到圖像生成模型的生成能力和運動序列的粗略時間一致性來生成生動的視頻。

最近的研究探索了利用 ControlNet 或 DDIM inversion 的結(jié)構(gòu)可控性進行視頻生成。在這項工作中，我們提出了一個無需訓練的高質(zhì)量和一致的可控文本到視頻生成方法ControlVideo，以及一種 交錯幀平滑器來增強結(jié)構(gòu)平滑度。

ControlVideo直接繼承了 ControlNet 的架構(gòu)和權(quán)重，通過擴展自注意力與 完全跨幀交互 使其適用于視頻，與之前的工作不同，我們的完全跨幀交互將所有幀連接起來成為一個“更大的圖像”，從而直接繼承了 ControlNet 的高質(zhì)量和一致的生成。交錯幀平滑器通過在選定的連續(xù)時間步驟上交錯插值來消除整個視頻的閃爍。

如圖所示，每個時間步驟的操作通過插值中間幀平滑交錯的三幀片段，兩個連續(xù)時間步驟的組合則平滑整個視頻。為了實現(xiàn)高效的長視頻合成，我們還引入了一種分層采樣器來生成具有長期連貫性的獨立短片段。具體而言，長視頻首先被分割成多個具有選定關(guān)鍵幀的短視頻片段。然后，關(guān)鍵幀通過全幀交互預(yù)先生成以實現(xiàn)長期連貫性。在關(guān)鍵幀的條件下，我們順序合成相應(yīng)的中間短視頻片段，以實現(xiàn)全局一致性。作者在廣泛收集的運動提示對上進行了實驗。

實驗結(jié)果表明，我們的方法在質(zhì)量和量化標準上都優(yōu)于其他競爭對手。由于采用了高效的設(shè)計，即 xFormers 實現(xiàn)和分層采樣器，ControlVideo 可以在一個 NVIDIA 上幾分鐘內(nèi)生成短視頻和長視頻。

3. 方法

3.0. 背景

潛在擴散模型（Latent Diffusion Model，簡稱LDM）是一種用于密度估計和生成高維數(shù)據(jù)（如圖像和音頻）的概率模型。它由Jonathan Ho和Stefano Ermon在2020年的論文Denosing Diffusion Probabilistic Models中提出。

LDM基于一個擴散過程，每一步向數(shù)據(jù)添加噪聲，然后通過去噪函數(shù)去除噪聲。擴散過程進行到數(shù)據(jù)完全被破壞，只剩下高斯噪聲。模型通過反向擴散過程生成新數(shù)據(jù)，從高斯噪聲開始，逐步去除噪聲。

形式上，LDM定義了一系列條件分布，給出數(shù)據(jù)如下：

其中表示時間t的數(shù)據(jù)，是一個神經(jīng)網(wǎng)絡(luò)，將映射到，是一個固定的方差參數(shù)。擴散過程從原始數(shù)據(jù)開始，進行到，其中T是擴散步驟的總數(shù)。

為了生成新數(shù)據(jù)，LDM反轉(zhuǎn)擴散過程，從以下條件分布中采樣：

從開始，向后進行到。LDM可以通過最大化模型下數(shù)據(jù)的對數(shù)似然來進行訓練，可以使用隨機梯度下降有效地完成。LDM已經(jīng)在圖像生成和密度估計任務(wù)中取得了最先進的結(jié)果，并且已經(jīng)擴展到處理缺失數(shù)據(jù)和半監(jiān)督學習。

3.1. 方法

論文提出的方法包括三個關(guān)鍵組件：ControlNet、ControlVideo 和交錯幀平滑器。這些組件通過控制噪聲的傳播路徑，在生成的視頻中保持了文本描述和運動信息之間的一致性，并通過完全跨幀交互和交錯幀平滑器來保持了視頻的連貫性和平滑性。

3.1.1 Fully Cross-Frame Interaction:

Fully Cross-Frame Interaction模塊旨在通過使所有幀之間相互作用來增強生成視頻的時間一致性。這是通過將所有視頻幀連接成一個“大圖像”，然后使用基于注意力機制的Fully Cross-Frame Interaction來計算幀間交互來實現(xiàn)的。完全跨幀交互模塊可以表示為：

其中是通過連接所有視頻幀形成的“大圖像”，，和是查詢、鍵和值矩陣，，和是可學習的權(quán)重矩陣。注意力機制通過將查詢和鍵矩陣相乘，然后使用softmax函數(shù)進行歸一化來計算注意力權(quán)重。最后，通過將注意力權(quán)重乘以值矩陣得到注意力值。

3.1.2 Interleaved-Frame Smoother:

Interleaved-Frame Smoother模塊旨在減少合成視頻中的抖動效果。這是通過插值每個三幀剪輯的中間幀，然后以交錯的方式重復(fù)它來實現(xiàn)的。Interleaved-Frame Smoother可以表示為：

其中表示視頻序列的第幀。Interleaved-Frame Smoother通過取前一幀和后一幀的平均值來插值每個三幀剪輯的中間幀。

3.1.3 Hierarchical Sampler:

Hierarchical Sampler模塊旨在通過逐個剪輯地生成視頻來實現(xiàn)高效和一致的長視頻合成。在每個時間步中，將長視頻分成多個短視頻剪輯，并使用Fully Cross-Frame Attention預(yù)先生成關(guān)鍵幀以確保長距離的一致性。然后，在每對關(guān)鍵幀的條件下，按順序合成相應(yīng)的剪輯以確保整體一致性。Hierarchical Sampler可以表示為：

其中表示視頻序列的第幀，是關(guān)鍵幀，是一個擴散模型，它在先前和下一幀的條件下生成視頻幀。關(guān)鍵幀是使用Fully Cross-Frame Attention預(yù)先生成的，以確保長距離的一致性，而其余幀則使用擴散模型生成。

4. 實驗

上圖展示了對于視頻生成方法的實驗數(shù)據(jù)比較表格。共比較了三種方法：Tune-A-Video、Text2Video-Zero和ControlVideo。表格中的指標分為兩列：Frame Consistency和Prompt Consistency。其中，F(xiàn)rame Consistency指的是生成的視頻幀與輸入的條件（Structure Condition）之間的一致性；Prompt Consistency指的是生成的視頻與輸入的描述（Prompt）之間的一致性。兩列指標的數(shù)值都是百分比形式?？梢钥闯?，使用Canny Edge或Depth Map作為Structure Condition時，ControlVideo的Frame Consistency都比其他兩種方法高，且Prompt Consistency基本持平。這說明ControlVideo在結(jié)構(gòu)一致性方面表現(xiàn)優(yōu)異，而在描述一致性方面與其他方法相當。需要注意的是，Prompt Consistency的數(shù)值普遍較低，這也是視頻生成領(lǐng)域的一個研究難點。從具體數(shù)字來看，可以發(fā)現(xiàn)ControlVideo在兩種Structure Condition下的Frame Consistency均優(yōu)于其他兩種方法，并且在Prompt Consistency方面與其他方法相當。此外，即使在表格中的最好表現(xiàn)下，Prompt Consistency的數(shù)值也普遍較低，這表明在描述一致性方面仍然存在改進空間。

該表格展示了一項用戶偏好研究的結(jié)果，比較了兩種方法和一種新的視頻合成方法“Ours”。該研究評估了每種方法合成的視頻在三個方面的質(zhì)量：視頻質(zhì)量、時間一致性和文本對齊。表格中展現(xiàn)了在每個方面上有多少評估者更喜歡“Ours”合成的視頻而不是其他方法的視頻。總體而言，結(jié)果表明，“Ours”在視頻質(zhì)量、時間一致性和文本對齊方面表現(xiàn)比其他兩種方法更好，因為它在所有三個方面上都得到了更高比例的評估者偏好。然而，需要注意的是，該研究僅反映了評估者的意見，可能并不一定反映視頻合成方法的客觀質(zhì)量。

這一部分主要介紹了在用戶研究和消融實驗方面的結(jié)果，以及將該方法擴展到長視頻生成的有效性。在用戶研究中，本文與其他競爭方法進行了比較，并讓參與者根據(jù)視頻質(zhì)量、時間連貫性和文本對齊等三個方面選擇更好的合成視頻。結(jié)果表明，本文的方法在所有三個方面都表現(xiàn)出了強大的優(yōu)勢。在消融實驗中，本文進一步評估了完全跨幀交互和交錯幀平滑器的效果，并發(fā)現(xiàn)它們都對視頻生成的質(zhì)量和連續(xù)性產(chǎn)生了重要影響。最后，本文還展示了如何將該方法擴展到長視頻生成，通過引入分層采樣器實現(xiàn)了高效的處理，使得該方法可以在低端硬件上生成高質(zhì)量的長視頻。

5. 討論

這份工作存在以下局限性：

1. 該方法的生成結(jié)果受預(yù)訓練的文本到圖像生成模型的質(zhì)量和性能影響，因此其生成的視頻可能存在與圖像生成模型相關(guān)的問題，如圖像分辨率、細節(jié)和顏色等方面的不足。

2. 該方法需要輸入運動序列，如深度或邊緣地圖，以幫助生成視頻，這可能會限制其適用范圍，因為這些運動序列可能難以獲取。

3. 由于該方法使用分層采樣器來生成長視頻，因此在生成非常長的視頻時可能會存在一些不連貫的問題。

4. 該方法的處理速度受到硬件和預(yù)訓練模型的性能限制，對于某些應(yīng)用場景可能需要更快的處理速度。

大規(guī)模擴散模型在文本到視頻合成方面取得了巨大進展，但這些模型成本高昂且不對公眾開放。我們的ControlVideo專注于無需訓練的可控文本到視頻生成，并在高效視頻創(chuàng)建方面邁出了重要一步。具體而言，ControlVideo可以使用普通硬件合成高質(zhì)量的視頻，因此可供大多數(shù)研究人員和用戶使用。例如，藝術(shù)家可以利用我們的方法在更短的時間內(nèi)創(chuàng)建出迷人的視頻。此外，ControlVideo為視頻渲染、視頻編輯和視頻到視頻轉(zhuǎn)換等任務(wù)提供了洞見。然而，雖然作者不打算將模型用于有害目的，但它可能會被濫用并帶來一些潛在的負面影響，例如制作欺騙性、有害性或含有不當內(nèi)容的視頻。盡管存在以上擔憂，但我們相信可以通過一些措施來將其最小化。例如，可以使用NSFW過濾器來過濾不健康和暴力內(nèi)容。此外，我們希望政府能夠建立和完善相關(guān)法規(guī)以限制視頻創(chuàng)作的濫用。較為合適的應(yīng)用場景包括但不限于：

1. 視頻游戲開發(fā)：可以使用該方法生成游戲場景中的動態(tài)場景，如人物移動、車輛行駛等。

2. 電影和廣告制作：可以使用該方法生成預(yù)覽或草圖，以幫助制片人和廣告商確定最終的場景和效果。

3. 交互式虛擬現(xiàn)實應(yīng)用：可以使用該方法生成虛擬現(xiàn)實場景，如虛擬旅游、虛擬展覽等。

4. 視頻編輯和后期制作：可以使用該方法生成缺失的鏡頭或補充一些場景，以幫助編輯和后期制作人員完成工作。

6. 結(jié)論

這一部分主要介紹了在用戶研究和消融實驗方面的結(jié)果，以及將該方法擴展到長視頻生成的有效性。在用戶研究中，本文與其他競爭方法進行了比較，并讓參與者根據(jù)視頻質(zhì)量、時間連貫性和文本對齊等三個方面選擇更好的合成視頻。結(jié)果表明，本文的方法在所有三個方面都表現(xiàn)出了強大的優(yōu)勢。在消融實驗中，本文進一步評估了完全跨幀交互和交錯幀平滑器的效果，并發(fā)現(xiàn)它們都對視頻生成的質(zhì)量和連續(xù)性產(chǎn)生了重要影響。最后，本文還展示了如何將該方法擴展到長視頻生成，通過引入分層采樣器實現(xiàn)了高效的處理，使得該方法可以在低端硬件上生成高質(zhì)量的長視頻。