↑ 點(diǎn)擊藍(lán)字?關(guān)注極市平臺(tái)

作者丨J Pan@知乎

來(lái)源丨h(huán)ttps://zhuanlan.zhihu.com/p/41609577

編輯丨極市平臺(tái)

本文僅用于學(xué)術(shù)分享，如有侵權(quán)，請(qǐng)聯(lián)系后臺(tái)作刪文處理。

極市導(dǎo)讀

?

狄拉克函數(shù)從何而來(lái)？卷積是怎么回事？卷積定理又是什么？如果你對(duì)卷積公式不甚了解，亦或是想對(duì)其有更深的認(rèn)知，那么本文便是一份優(yōu)秀的科普材料。>>加入極市CV技術(shù)交流群，走在計(jì)算機(jī)視覺(jué)的最前沿

傅里葉變換、拉普拉斯變換、自（互）相關(guān)及卷積是線性系統(tǒng)分析里面最重要的四個(gè)數(shù)學(xué)工具，可以毫不夸張的說(shuō)，自動(dòng)控制、信號(hào)處理等課程幾乎所有內(nèi)容都是這幾個(gè)公式組合排列的結(jié)果。四個(gè)公式中的三個(gè)在其他文章中都就已經(jīng)介紹過(guò)了。今天我們就來(lái)討論一下最后一個(gè)：卷積公式。

一、狄拉克何許人也？

保羅·狄拉克（Paul Adrien Maurice Dirac，1902－1984），出生在瑞士，后移居英國(guó)，著名理論物理學(xué)家。通過(guò)幾個(gè)場(chǎng)景來(lái)認(rèn)識(shí)一下(故事來(lái)源于網(wǎng)絡(luò)，版權(quán)歸原作者所有)。

鏡頭一：
1933年狄拉克獲諾貝爾物理獎(jiǎng)（與薛定諤共享）。當(dāng)時(shí)他私下對(duì)學(xué)術(shù)老前輩盧瑟福（也是諾獎(jiǎng)得主）說(shuō)，對(duì)于獲諾獎(jiǎng)這個(gè)事他很苦惱，他不想成為新聞人物，更不想出名，這樣會(huì)打斷他平靜的生活，打算拒絕接受這個(gè)榮譽(yù)。盧瑟福對(duì)他說(shuō)：“如果你這樣做，你會(huì)更出名。”于是狄拉克同意領(lǐng)獎(jiǎng)。

鏡頭二：
狄拉克在美國(guó)威斯康辛大學(xué)作報(bào)告。期間，有一位聽(tīng)眾說(shuō) ：“您寫(xiě)在黑板右上方的那個(gè)方程我看不懂。”狄拉克聽(tīng)后一言不發(fā)，讓當(dāng)時(shí)的場(chǎng)面相當(dāng)尷尬。主持人試圖打破僵局，說(shuō)狄拉克教授剛才那個(gè)問(wèn)題您還沒(méi)回答呢。狄拉克喃喃地回應(yīng)道：“剛才那個(gè)不是一個(gè)疑問(wèn)句，那是一個(gè)陳述句啊?！?/section>

鏡頭三：
位于英國(guó)倫敦的威斯敏斯特教堂（Westminster Abbey），是英國(guó)國(guó)王登基和皇室舉行婚禮的地方。這里長(zhǎng)眠著許多偉大人物，如牛頓、達(dá)爾文、狄更斯、邱吉爾、彌爾頓。牛頓墓旁放置有一塊石碑，上面鐫刻著保羅? 狄拉克的名字以及他那優(yōu)美的方程式。

狄拉克最早是從事相對(duì)論動(dòng)力學(xué)的研究，1925年海森堡訪問(wèn)劍橋大學(xué)，狄拉克深受影響，把精力轉(zhuǎn)向量子力學(xué)的研究。1928年他把相對(duì)論引進(jìn)了量子力學(xué)，建立了相對(duì)論形式的薛定諤方程，也就是著名的狄拉克方程。1930年狄拉克出版了他的量子力學(xué)著作著作《量子力學(xué)原理》，這是物理史上重要的里程碑，至今仍是量子力學(xué)的經(jīng)典教材。

在他的教材里面，他提出了一個(gè)怪異的函數(shù)，一般被叫做狄拉克 函數(shù)：

并且滿足

狄拉克δ函數(shù)在概念上，它是這么一個(gè)“函數(shù)”：在除了零以外的點(diǎn)函數(shù)值都等于零，而其在整個(gè)定義域上的積分等于1。嚴(yán)格來(lái)說(shuō)δ函數(shù)不能算是一個(gè)函數(shù)，因?yàn)闈M足以上條件的函數(shù)是不存在的。但是為什么狄拉克還要這么干呢？

百度百科上對(duì)于狄拉克函數(shù)有如下描述：

物理學(xué)中常常要研究一個(gè)物理量在空間或時(shí)間中分布的密度，例如質(zhì)量密度、電荷密度、每單位時(shí)間傳遞的動(dòng)量（力）等等，但是物理學(xué)中又常用到質(zhì)點(diǎn)、點(diǎn)電荷、瞬時(shí)力等抽象模型，他們不是連續(xù)分布于空間或時(shí)間中，而是集中在空間中的某一點(diǎn)或者時(shí)間中的某一瞬時(shí)，那么它們的密度應(yīng)該如何表示呢？——δ函數(shù)！

還記得我們之前說(shuō)過(guò)得赫維賽德函數(shù)嗎？就是簡(jiǎn)化了原始麥克斯韋方程組的那個(gè)人？

這個(gè)函數(shù)的導(dǎo)數(shù)就是δ函數(shù)哦！δ函數(shù)有很多用處，本身蘊(yùn)藏的數(shù)學(xué)和物理含義很值得去挖掘，今天我們就先說(shuō)一下它在工程中一般干什么用。

我們先研究一個(gè)簡(jiǎn)單的函數(shù)：一個(gè)矩形信號(hào)寬度是 ,高度是 ，總的面積是1。這個(gè)矩形信號(hào)可以變形——可胖可瘦，但是要保證面積不變。

這個(gè)函數(shù)的傅里葉變換長(zhǎng)什么樣呢？也很簡(jiǎn)單：

前面說(shuō)了，這個(gè)信號(hào)可胖可瘦，那胖瘦的時(shí)候有什么規(guī)律呢？

clc;?clear?all;?close?all;
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
N=10000;?????????????????????????????????????%?sampling?numbers
Tau0=1;??????????????????????????????????????%?define?initial?Tau
for?i=1:100
????Tau=Tau0/i;?
????TimeRange=linspace(-10*Tau,10*Tau,N);????????%?display?time?range
????FreqRange=linspace(-200*pi/i,200*pi/i,N);????%?display?frequency?range
????Half_Tau=Tau/2;??????????????????????????????%?-0.5?Tao?==>?0.5?Tao
????RECT=1/Tau*double(abs(TimeRange)%?one?rectangular?pulse
????SINC=sinc(FreqRange*Tau*pi);?????????????????%?sinc?pulse,?Xtra
????
????subplot(2,1,1);
????plot(TimeRange,RECT,'LineWidth',1.5);?grid?on;
????xlim([-1?1]);?ylim([-0.5?120]);
????xlabel('Time');?ylabel('Amplitude');
????title('Made?by?J?Pan')
????
????subplot(2,1,2);
????plot(FreqRange,SINC,'LineWidth',1.5);?grid?on;?
????xlim([-200*pi/i?200*pi/i])；ylim([-0.5?1.5]);?
????xlabel('Frequency');?ylabel('Amplitude');
????title('Made?by?J?Pan')
????drawnow;???
end

假設(shè)這個(gè)信號(hào)也有愛(ài)美之心，以瘦為榮，天天不吃飯，以至于最后瘦成了一道閃電，比如 ，會(huì)出現(xiàn)什么結(jié)果呢？——我們發(fā)現(xiàn)，當(dāng)這個(gè)信號(hào)瘦到一定程度的時(shí)候，就變成了狄拉克 函數(shù)：

并且滿足

它的頻譜也變得很簡(jiǎn)單了，變成了一條直線。

這個(gè)結(jié)論有什么意思呢？——δ函數(shù)包含了所有頻率的分量。這個(gè)有啥用呢？用處大了去了，這就是一個(gè)天然的最理想的試驗(yàn)函數(shù)?。?strong style="color: black;">只用一個(gè)函數(shù)就可以把系統(tǒng)的所有頻率分量的響應(yīng)激發(fā)出來(lái)，怎么樣，帶勁不帶勁？換句話說(shuō)，在輸入為狄拉克δ函數(shù)時(shí)，系統(tǒng)的沖激響應(yīng)包含了系統(tǒng)的所有信息，也就是說(shuō)系統(tǒng)的理想沖擊響應(yīng)就可以代表系統(tǒng)本身 ——我們用小錘敲一下系統(tǒng)，記錄下來(lái)響應(yīng)，就能夠得到系統(tǒng)的模型了。

二、卷積是怎么個(gè)回事？

終于回歸正題，卷積說(shuō)的是什么？為什么會(huì)在線性系統(tǒng)這么廣泛的使用？我查閱了大量資料，發(fā)現(xiàn)有一個(gè)例子說(shuō)的特別好，引用特別廣泛，以至于都不知道原作者是誰(shuí)了。接下來(lái)我們也用這個(gè)例子（版權(quán)歸原作者所有）為基礎(chǔ)來(lái)延伸和拓展一下。

話說(shuō)有一個(gè)七品縣令，喜歡用打板子來(lái)懲戒那些市井無(wú)賴，而且有個(gè)慣例：如果沒(méi)犯大罪，只打一板，釋放回家，以示愛(ài)民如子。

有一個(gè)無(wú)賴，想出人頭地卻沒(méi)啥指望，心想：既然揚(yáng)不了善名，出惡名也成啊。怎么出惡名？炒作唄！怎么炒作？找名人呀！隔現(xiàn)在，注冊(cè)個(gè)微博賬號(hào)隨便找個(gè)流量明星就能開(kāi)撕啊 ——那時(shí)候不行，還沒(méi)有微博一說(shuō)，他自然想到了他的行政長(zhǎng)官——縣令。

于是在光天化日之下，無(wú)賴站在縣衙門(mén)前撒了一泡尿，后果是可想而知，這是明目張膽的藐視公堂無(wú)視法律啊，自然被請(qǐng)進(jìn)大堂挨了一板子——這無(wú)賴身體也是好，挨了板子后居然昂首挺胸回家了。躺了一天，嘿！身上啥事也沒(méi)有！無(wú)賴在這件事上的決心還很大，第二天如法炮制，全然不顧行政長(zhǎng)管的仁慈和衙門(mén)的體面，第三天、第四天......每天去縣衙門(mén)領(lǐng)一個(gè)板子回來(lái)，還喜氣洋洋地，堅(jiān)持一個(gè)月之久！這無(wú)賴的名氣已經(jīng)和衙門(mén)口的臭氣一樣，傳遍八方了！

縣令大人噤著鼻子，呆呆地盯著案子上的驚堂木，擰著眉頭思考一個(gè)問(wèn)題：這三十個(gè)大板子怎么不好使捏？......想當(dāng)初，本老爺可是因?yàn)閵W數(shù)加分才金榜題名的，今天要好好建個(gè)數(shù)學(xué)模型，好歹要解決這個(gè)問(wèn)題，挽回一點(diǎn)面子：

——人（系統(tǒng)?。┌ぐ遄樱_擊?。┮院?，會(huì)有什么表現(xiàn)（輸出?。?/section>

——廢話，疼唄！

——如何量化呢？

——看疼到啥程度。像這無(wú)賴的體格，每天挨一個(gè)板子啥事都不會(huì)有，連哼一下都不會(huì)有，你也看到他那得意洋洋的嘴臉了；如果一次連揍他十個(gè)板子，他可能會(huì)皺皺眉頭，咬咬牙，硬挺著不哼；揍到二十個(gè)板子，他會(huì)疼得臉部扭曲，象豬似地哼哼；揍到三十個(gè)板子，他可能會(huì)象驢似地嚎叫，一把鼻涕一把淚地求你饒他一命；揍到四十個(gè)板子，他會(huì)大小便失禁，勉強(qiáng)哼出聲來(lái)；揍到五十個(gè)板子，他連哼一下都不可能——死啦！

縣令雙手捧腮，若有所悟，擰緊的眉頭漸漸松弛下來(lái)：

——嗚呼呀！為啥那個(gè)無(wú)賴連挨了三十天大板卻不喊繞命，而一次連續(xù)打上三十個(gè)大板呀？

—— 呀呼嘿，打一次的時(shí)間間隔（Δτ=24小時(shí)）太長(zhǎng)了，所以那個(gè)無(wú)賴承受的痛苦程度一天一利索，沒(méi)有疊加，始終是一個(gè)常數(shù)；如果縮短打板子的時(shí)間間隔（建議Δτ=0.5秒），那他的痛苦程度可就迅速疊加了；等到這無(wú)賴挨三十個(gè)大板（t=30）時(shí)，痛苦程度達(dá)到了他能喊叫的極限，會(huì)收到最好的懲戒效果，再多打就顯示不出您的仁慈了。

——還是不太明白，時(shí)間間隔小，為什么痛苦程度會(huì)疊加呢？

——這與人（線性時(shí)不變系統(tǒng)）對(duì)板子（脈沖、輸入、激勵(lì)）的響應(yīng)有關(guān)。什么是響應(yīng)？人挨一個(gè)板子后，疼痛的感覺(jué)會(huì)在一天（假設(shè)的，因人而異）內(nèi)慢慢消失（衰減），而不可能突然消失。這樣一來(lái)，只要打板子的時(shí)間間隔很小，每一個(gè)板子引起的疼痛都來(lái)不及完全衰減，都會(huì)對(duì)最終的痛苦程度有不同的貢獻(xiàn)，總的來(lái)說(shuō)：

t個(gè)大板子造成的痛苦程度=Σ(第τ個(gè)大板子引起的痛苦*衰減系數(shù))

請(qǐng)看下圖：

先考慮挨兩板時(shí)是什么情況：把挨板子時(shí)的疼痛響應(yīng)用 來(lái)表示，其中 表示持續(xù)時(shí)間。當(dāng)剛挨最新一板子時(shí)，響應(yīng)顯然為 即 ，那相隔 之前還有一板子呢？響應(yīng)是 ，所以挨兩板子時(shí)總的疼痛定義為每板子的響應(yīng)乘以持續(xù)時(shí)間：

實(shí)際上兩板子不可能完全一樣，今天是士兵甲打的，明天是士兵乙，兩個(gè)力道完全不在一個(gè)層級(jí)上啊，怎么辦？需要修正一下要把激勵(lì)的大小也考慮進(jìn)去：

要是碰上一個(gè)身強(qiáng)力壯，心情又不好的士兵呢？連續(xù)不停地打，這時(shí)可憐的無(wú)賴只能祈求上帝了：

當(dāng) 時(shí)，有

如果把積分時(shí)間擴(kuò)展到負(fù)半軸，

這就是卷積公式，它本質(zhì)上說(shuō)系統(tǒng)（人）在連續(xù)激勵(lì)下（挨板子）所的得到的結(jié)果（疼）。翻譯的學(xué)術(shù)一點(diǎn)：卷積將是過(guò)去所有連續(xù)信號(hào)經(jīng)過(guò)系統(tǒng)的響應(yīng)之后得到的在觀察那一刻的加權(quán)疊加。而現(xiàn)實(shí)生活中，我們就是要解大量的這種問(wèn)題，這也就是為啥卷積這么常見(jiàn)這么重要的原因。

三、卷積定理又是個(gè)什么玩意？

前面我說(shuō)了狄拉克函數(shù)，說(shuō)了卷積，為什么把他們兩個(gè)放在一起？這可以通過(guò)卷積定理來(lái)說(shuō)明。

信號(hào)與系統(tǒng)或自動(dòng)控制研究的內(nèi)容是輸入、輸出及系統(tǒng)三者之間的關(guān)系。

在第一部分，我們說(shuō)狄拉克函數(shù)（也就是單位脈沖函數(shù)）的傅里葉變換橫貫在整個(gè)頻域上，因此可以作為一個(gè)理想的測(cè)試信號(hào)來(lái)確定系統(tǒng)的在各個(gè)頻率上的響應(yīng)情況，也就是說(shuō)可以用單位脈沖響應(yīng)可以完整的表征系統(tǒng)的響應(yīng)特性。

在第二部分的例子中，打板子可以看成是一種沖擊或脈沖信號(hào)，系統(tǒng)的響應(yīng)可以用卷積來(lái)計(jì)算。

其中， 為激勵(lì)信號(hào)， 為脈沖響應(yīng)。

這些都是在時(shí)域觀察的，如果我們切換到頻域，會(huì)是什么樣？假設(shè)激勵(lì)信號(hào)的傅里葉變換為 ，脈沖響應(yīng) 的傅里葉變換為 ，輸入 表示輸入有哪些分量，系統(tǒng)單位脈沖響應(yīng) 表示每個(gè)分量會(huì)有怎樣的響應(yīng)，那兩者相乘不就把輸入的那些分量篩選出來(lái)了？——乘積是不是就代表系統(tǒng)的不同頻率下響應(yīng)？

等等，我們剛才說(shuō)了個(gè)什么事？我們先在時(shí)域里面看，認(rèn)為系統(tǒng)的輸出為輸入與單位脈沖響應(yīng)的卷積；然后又切換到頻域看，認(rèn)為系統(tǒng)的輸出為輸入傅里葉變換與單位脈沖福利變換的乘積。我們看的是同一個(gè)事情，為什么結(jié)果不同——難道他們是一回事？

你的猜想是對(duì)的，這兩個(gè)東西還真是一回事，這就是卷積定理：函數(shù)卷積的傅立葉變換是函數(shù)傅立葉變換的乘積。具體分為時(shí)域卷積定理和頻域卷積定理，時(shí)域卷積定理即時(shí)域內(nèi)的卷積對(duì)應(yīng)頻域內(nèi)的乘積；頻域卷積定理即頻域內(nèi)的卷積對(duì)應(yīng)時(shí)域內(nèi)的乘積，兩者具有對(duì)偶關(guān)系。

還記得我們以前說(shuō)過(guò)的，時(shí)域和頻域有某種對(duì)稱(chēng)性嘛？時(shí)域的乘法與頻域卷積或時(shí)域卷積與頻域乘法是具有對(duì)稱(chēng)性的，有了這個(gè)工具，我們?cè)谔幚韱?wèn)題的時(shí)候就可以隨意轉(zhuǎn)換，哪個(gè)域方便就在哪個(gè)域計(jì)算。

推薦閱讀

• 一文圖解卡爾曼濾波(Kalman Filter)

• 三步搞定機(jī)器學(xué)習(xí)核心：矩陣求導(dǎo)

• 深入探討：為什么要做特征歸一化/標(biāo)準(zhǔn)化？

ACCV 2020國(guó)際細(xì)粒度網(wǎng)絡(luò)圖像識(shí)別競(jìng)賽正式開(kāi)賽！

添加極市小助手微信（ID : cvmart2），備注：姓名-學(xué)校/公司-研究方向-城市（如：小極-北大-目標(biāo)檢測(cè)-深圳），即可申請(qǐng)加入極市目標(biāo)檢測(cè)/圖像分割/工業(yè)檢測(cè)/人臉/醫(yī)學(xué)影像/3D/SLAM/自動(dòng)駕駛/超分辨率/姿態(tài)估計(jì)/ReID/GAN/圖像增強(qiáng)/OCR/視頻理解等技術(shù)交流群：每月大咖直播分享、真實(shí)項(xiàng)目需求對(duì)接、求職內(nèi)推、算法競(jìng)賽、干貨資訊匯總、與?10000+來(lái)自港科大、北大、清華、中科院、CMU、騰訊、百度等名校名企視覺(jué)開(kāi)發(fā)者互動(dòng)交流~

△長(zhǎng)按添加極市小助手

△長(zhǎng)按關(guān)注極市平臺(tái)，獲取最新CV干貨

覺(jué)得有用麻煩給個(gè)在看啦~??