視頻通信中音視頻處理技術(shù)

視頻通信過(guò)程中會(huì)涉及到大量的音視頻處理技術(shù)，按照在通信系統(tǒng)中所處位置的不同，可以分為發(fā)送端和接收端的音視頻處理技術(shù)。

發(fā)送端的音視頻處理技術(shù)主要包括：視頻幀的變換、自適應(yīng)丟幀、增強(qiáng)；音頻采樣率轉(zhuǎn)換、回聲消除；音視頻修飾等。這些技術(shù)的目的都是為視頻直播提供高質(zhì)量或者定制化的信號(hào)源。

對(duì)于發(fā)送端視頻的處理

一、視頻幀的變換

采集到的視頻源首先需要進(jìn)行裁剪，縮放，自適應(yīng)丟幀，顏色空間轉(zhuǎn)換等變換，這些作為視頻處理的預(yù)處理，可以為后續(xù)操作帶來(lái)速度和性能的提升。

裁剪：將幀數(shù)據(jù)裁剪或填充到4字節(jié)的整數(shù)倍，便于后續(xù)可以進(jìn)行位移操作或者匯編優(yōu)化；

縮放：現(xiàn)在手機(jī)或電腦的攝像頭提供的輸入視頻分辨率在2K左右，如果不加縮放的提供給后續(xù)的圖像處理和編碼，對(duì)設(shè)備處理能力和網(wǎng)絡(luò)傳輸帶寬的要求會(huì)很高（2K視頻一般需要4Mbps的帶寬支持，才能保證基本的清晰度），尤其是對(duì)延遲很敏感的視頻通信應(yīng)用。所以系統(tǒng)實(shí)現(xiàn)應(yīng)根據(jù)設(shè)備性能和當(dāng)前網(wǎng)絡(luò)狀態(tài)，對(duì)輸入視頻進(jìn)行縮放，以此來(lái)保證通信的低延遲和流暢。比如，我們的AI米聽(tīng)會(huì)檢測(cè)CPU性能，再根據(jù)目標(biāo)碼率，計(jì)算得到一個(gè)合適的縮放比例，對(duì)視頻進(jìn)行預(yù)處理?？s放一般采用匯編實(shí)現(xiàn)，也可以借助ffmpeg中swscale工具集。

二、自適應(yīng)丟幀

這個(gè)處理技術(shù)的目的和縮放類(lèi)似，也是為了更好的適應(yīng)設(shè)備的處理性能和網(wǎng)絡(luò)狀態(tài)。但是視頻通信內(nèi)容的不同，應(yīng)該選擇不同的處理方式。

比如，對(duì)于人像通信，適合采用縮放的方式；而對(duì)于屏幕分享，適合降低幀率。如果采用相反的技術(shù)，效果會(huì)很差。這是因?yàn)槿四槾蟛糠质堑皖l的內(nèi)容，縮放不會(huì)對(duì)人的主觀視頻產(chǎn)生明顯影響，而降低幀率則會(huì)產(chǎn)生明顯的不連續(xù)性且容易被人察覺(jué)；相反，屏幕展示內(nèi)容中，包含大量的高頻信息（文字，圖表），如果采用降采樣，則會(huì)損失大量高頻信息，從而使得內(nèi)容難以辨認(rèn)。屏幕分享時(shí)，往往是內(nèi)容的靜止展示，所以此時(shí)降低幀率不會(huì)明顯影響觀看感受。

三、視頻增強(qiáng)

對(duì)于攝像頭質(zhì)量不佳，或者低照明度的通信環(huán)境，采集到的視頻幀噪聲大，質(zhì)量低下，這是需要對(duì)視頻內(nèi)容進(jìn)行增強(qiáng)。常用的技術(shù)包括圖像去噪，對(duì)比度調(diào)整，曝光度調(diào)整等。圖像去噪包括經(jīng)典的高斯濾波，中值濾波，Non-local mean濾波等；對(duì)比度和曝光度的調(diào)整可以基于直方圖來(lái)做。

四、顏色空間轉(zhuǎn)換

我們熟知的顏色空間是RGB空間，但是在視頻處理和編碼中往往要轉(zhuǎn)換成YUV，其中Y是亮度通道，UV是兩個(gè)色度通道。我們?nèi)搜蹖?duì)亮度的細(xì)節(jié)比色度更加敏感，根據(jù)這個(gè)特性，我們可以只對(duì)亮度通道進(jìn)行處理以降低處理復(fù)雜度。編碼時(shí)，保持色度通道不變而將色度通道降采樣（比如RGB轉(zhuǎn)換成YUV420，就是從一個(gè)像素3個(gè)字節(jié)變成了一個(gè)像素1.5個(gè)字節(jié)，原始數(shù)據(jù)量減少了一半），可以減小碼率，同時(shí)又不會(huì)對(duì)人眼主觀視頻產(chǎn)生明顯影響。

對(duì)于發(fā)送端音頻的處理

對(duì)于發(fā)送端音頻處理主要包括：轉(zhuǎn)換采樣率，去噪和回音消除。

轉(zhuǎn)換采樣率：和視頻縮放和降采樣一樣的道理，音頻可以根據(jù)設(shè)備性能和帶寬需求改變采樣率，來(lái)更好的適應(yīng)通信環(huán)境。

去噪：如果通信方身處嘈雜的環(huán)境，那么采集到的音頻會(huì)包含大量的噪聲。此時(shí)可以設(shè)計(jì)合適的濾波器對(duì)波形進(jìn)行濾波操作，以保留人聲，去除環(huán)境噪聲。

回音消除：在雙向通信中，播放對(duì)方音頻播放時(shí)，直接從麥克風(fēng)又傳給了對(duì)方，會(huì)帶來(lái)回音。音頻回音的影響很大，如果不加以抑制，嚴(yán)重時(shí)會(huì)有嘯叫現(xiàn)象，產(chǎn)生刺耳且長(zhǎng)時(shí)間保持的噪聲。回音消除的原理簡(jiǎn)單可以描述為：B收到A的聲音數(shù)據(jù)，通過(guò)喇叭進(jìn)行播放，此時(shí)B需要對(duì)輸入到麥克風(fēng)中的聲音進(jìn)行處理，識(shí)別A的聲音并去除。

音頻處理涉及到大量信號(hào)處理的理論，好在很多開(kāi)源庫(kù)都提供了音頻處理的功能，比如ffmpeg、speedx、 webrtc等。

接收端的音視頻處理

接收端的音視頻處理技術(shù)主要是為了恢復(fù)出原始音視頻信號(hào)，這里包括的技術(shù)有：視頻增強(qiáng)，超分辨；音頻去噪和混音。

視頻增強(qiáng)：在接受端，解碼得到的視頻會(huì)有壓縮失真，比如塊效應(yīng)，振鈴效應(yīng)等，所以也需要進(jìn)行去噪等操作，提高視頻質(zhì)量。

視頻超分辨：在發(fā)送端，會(huì)將視頻縮小后進(jìn)行處理和編碼。那么在接收端，則需要進(jìn)行放大，提高視頻分辨率，提升主觀感受。

音頻去噪：和視頻一樣，音頻也會(huì)受到編碼影響，所以也需要進(jìn)行去噪。

混音：在多人視頻中，會(huì)接受到來(lái)自多方的音頻信息。此時(shí)需要對(duì)各路音頻進(jìn)行混音，混合成一路送進(jìn)揚(yáng)聲器進(jìn)行播放。這個(gè)過(guò)程中，一般要先對(duì)波形數(shù)據(jù)進(jìn)行同步，然后對(duì)波形進(jìn)行疊加，為了防止破音出現(xiàn)，最后還要進(jìn)行自動(dòng)增益控制和防溢出操作。

其他功能

近年來(lái)，隨著音視頻通信技術(shù)的興起，也出了很多新的玩法，比如視頻美顏、表情遷移和變聲等。

視頻美顏：現(xiàn)在已經(jīng)趨于成熟。主要功能是磨皮，柔光等，大都基于濾波進(jìn)行操作，比如磨皮采用了雙邊濾波，可以在保持了人臉輪廓邊緣的同時(shí)，將皮膚的瑕疵去除。

表情遷移：基于深度學(xué)習(xí)的特征學(xué)習(xí)技術(shù)，可以快速準(zhǔn)確的對(duì)人臉器官進(jìn)行定位，從而能夠?qū)崿F(xiàn)更復(fù)雜的修飾技術(shù)。比如找準(zhǔn)嘴唇，眼睛，面頰之后，可以進(jìn)行自動(dòng)化妝；根據(jù)關(guān)鍵點(diǎn)和人臉角度，進(jìn)行人臉映射，達(dá)到“換臉”的效果。

音頻變聲技術(shù)：一款比較經(jīng)典的技術(shù)，可以通過(guò)改變聲音波形的頻率，振幅來(lái)改變音色，達(dá)到偽裝聲音的目的。而現(xiàn)在已經(jīng)發(fā)展到可以讓人模擬別人的聲音的地步。

總結(jié)

音視頻通信處理技術(shù)在實(shí)際的使用中，還是要針對(duì)不同的場(chǎng)景選擇不同的技術(shù)。只有這樣才能達(dá)到最佳的效果。