↓↓↓點(diǎn)擊關(guān)注，回復(fù)資料，10個(gè)G的驚喜

作者：J Pan??來源：知乎

鏈接：https://zhuanlan.zhihu.com/p/41609577

著作權(quán)歸作者所有，本文僅作學(xué)術(shù)分享，若侵權(quán)，請聯(lián)系后臺(tái)刪文處理

狄拉克函數(shù)從何而來？卷積是怎么回事？卷積定理又是什么？如果你對卷積公式不甚了解，亦或是想對其有更深的認(rèn)知，那么本文便是一份優(yōu)秀的科普材料。

傅里葉變換、拉普拉斯變換、自（互）相關(guān)及卷積是線性系統(tǒng)分析里面最重要的四個(gè)數(shù)學(xué)工具，可以毫不夸張的說，自動(dòng)控制、信號處理等課程幾乎所有內(nèi)容都是這幾個(gè)公式組合排列的結(jié)果。四個(gè)公式中的三個(gè)已經(jīng)介紹過了。今天我們就來討論一下最后一個(gè)：卷積公式。

一、狄拉克何許人也？

保羅·狄拉克（Paul Adrien Maurice Dirac，1902－1984），出生在瑞士，后移居英國，著名理論物理學(xué)家。通過幾個(gè)場景來認(rèn)識一下(故事來源于網(wǎng)絡(luò)，版權(quán)歸原作者所有)。

鏡頭一：
1933年狄拉克獲諾貝爾物理獎(jiǎng)（與薛定諤共享）。當(dāng)時(shí)他私下對學(xué)術(shù)老前輩盧瑟福（也是諾獎(jiǎng)得主）說，對于獲諾獎(jiǎng)這個(gè)事他很苦惱，他不想成為新聞人物，更不想出名，這樣會(huì)打斷他平靜的生活，打算拒絕接受這個(gè)榮譽(yù)。盧瑟福對他說：“如果你這樣做，你會(huì)更出名?！庇谑堑依送忸I(lǐng)獎(jiǎng)。

鏡頭二：
狄拉克在美國威斯康辛大學(xué)作報(bào)告。期間，有一位聽眾說 ：“您寫在黑板右上方的那個(gè)方程我看不懂。”狄拉克聽后一言不發(fā)，讓當(dāng)時(shí)的場面相當(dāng)尷尬。主持人試圖打破僵局，說狄拉克教授剛才那個(gè)問題您還沒回答呢。狄拉克喃喃地回應(yīng)道：“剛才那個(gè)不是一個(gè)疑問句，那是一個(gè)陳述句啊?！?/span>

鏡頭三：
位于英國倫敦的威斯敏斯特教堂（Westminster Abbey），是英國國王登基和皇室舉行婚禮的地方。這里長眠著許多偉大人物，如牛頓、達(dá)爾文、狄更斯、邱吉爾、彌爾頓。牛頓墓旁放置有一塊石碑，上面鐫刻著保羅? 狄拉克的名字以及他那優(yōu)美的方程式。

狄拉克最早是從事相對論動(dòng)力學(xué)的研究，1925年海森堡訪問劍橋大學(xué)，狄拉克深受影響，把精力轉(zhuǎn)向量子力學(xué)的研究。1928年他把相對論引進(jìn)了量子力學(xué)，建立了相對論形式的薛定諤方程，也就是著名的狄拉克方程。1930年狄拉克出版了他的量子力學(xué)著作著作《量子力學(xué)原理》，這是物理史上重要的里程碑，至今仍是量子力學(xué)的經(jīng)典教材。

在他的教材里面，他提出了一個(gè)怪異的函數(shù)，一般被叫做狄拉克??函數(shù)：

并且滿足

狄拉克δ函數(shù)在概念上，它是這么一個(gè)“函數(shù)”：在除了零以外的點(diǎn)函數(shù)值都等于零，而其在整個(gè)定義域上的積分等于1。嚴(yán)格來說δ函數(shù)不能算是一個(gè)函數(shù)，因?yàn)闈M足以上條件的函數(shù)是不存在的。但是為什么狄拉克還要這么干呢？

百度百科上對于狄拉克函數(shù)有如下描述：

物理學(xué)中常常要研究一個(gè)物理量在空間或時(shí)間中分布的密度，例如質(zhì)量密度、電荷密度、每單位時(shí)間傳遞的動(dòng)量（力）等等，但是物理學(xué)中又常用到質(zhì)點(diǎn)、點(diǎn)電荷、瞬時(shí)力等抽象模型，他們不是連續(xù)分布于空間或時(shí)間中，而是集中在空間中的某一點(diǎn)或者時(shí)間中的某一瞬時(shí)，那么它們的密度應(yīng)該如何表示呢？——δ函數(shù)！

還記得我們之前說過得赫維賽德函數(shù)嗎？就是簡化了原始麥克斯韋方程組的那個(gè)人？

這個(gè)函數(shù)的導(dǎo)數(shù)就是δ函數(shù)哦！δ函數(shù)有很多用處，本身蘊(yùn)藏的數(shù)學(xué)和物理含義很值得去挖掘，今天我們就先說一下它在工程中一般干什么用。

我們先研究一個(gè)簡單的函數(shù)：一個(gè)矩形信號寬度是??,高度是??，總的面積是1。這個(gè)矩形信號可以變形——可胖可瘦，但是要保證面積不變。

這個(gè)函數(shù)的傅里葉變換長什么樣呢？也很簡單：

前面說了，這個(gè)信號可胖可瘦，那胖瘦的時(shí)候有什么規(guī)律呢？

clc;?clear?all;?close?all;
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
N=10000;?????????????????????????????????????%?sampling?numbers
Tau0=1;??????????????????????????????????????%?define?initial?Tau
for?i=1:100
????Tau=Tau0/i;?
????TimeRange=linspace(-10*Tau,10*Tau,N);????????%?display?time?range
????FreqRange=linspace(-200*pi/i,200*pi/i,N);????%?display?frequency?range
????Half_Tau=Tau/2;??????????????????????????????%?-0.5?Tao?==>?0.5?Tao
????RECT=1/Tau*double(abs(TimeRange)%?one?rectangular?pulse
????SINC=sinc(FreqRange*Tau*pi);?????????????????%?sinc?pulse,?Xtra
????
????subplot(2,1,1);
????plot(TimeRange,RECT,'LineWidth',1.5);?grid?on;
????xlim([-1?1]);?ylim([-0.5?120]);
????xlabel('Time');?ylabel('Amplitude');
????title('Made?by?J?Pan')
????
????subplot(2,1,2);
????plot(FreqRange,SINC,'LineWidth',1.5);?grid?on;?
????xlim([-200*pi/i?200*pi/i])；ylim([-0.5?1.5]);?
????xlabel('Frequency');?ylabel('Amplitude');
????title('Made?by?J?Pan')
????drawnow;???
end

假設(shè)這個(gè)信號也有愛美之心，以瘦為榮，天天不吃飯，以至于最后瘦成了一道閃電，比如?，會(huì)出現(xiàn)什么結(jié)果呢？——我們發(fā)現(xiàn)，當(dāng)這個(gè)信號瘦到一定程度的時(shí)候，就變成了狄拉克??函數(shù)：

并且滿足

它的頻譜也變得很簡單了，變成了一條直線。

這個(gè)結(jié)論有什么意思呢？——δ函數(shù)包含了所有頻率的分量。這個(gè)有啥用呢？用處大了去了，這就是一個(gè)天然的最理想的試驗(yàn)函數(shù)啊！只用一個(gè)函數(shù)就可以把系統(tǒng)的所有頻率分量的響應(yīng)激發(fā)出來，怎么樣，帶勁不帶勁？換句話說，在輸入為狄拉克δ函數(shù)時(shí)，系統(tǒng)的沖激響應(yīng)包含了系統(tǒng)的所有信息，也就是說系統(tǒng)的理想沖擊響應(yīng)就可以代表系統(tǒng)本身?——我們用小錘敲一下系統(tǒng)，記錄下來響應(yīng)，就能夠得到系統(tǒng)的模型了。

二、卷積是怎么個(gè)回事？

終于回歸正題，卷積說的是什么？為什么會(huì)在線性系統(tǒng)這么廣泛的使用？我查閱了大量資料，發(fā)現(xiàn)有一個(gè)例子說的特別好，引用特別廣泛，以至于都不知道原作者是誰了。接下來我們也用這個(gè)例子（版權(quán)歸原作者所有）為基礎(chǔ)來延伸和拓展一下。

話說有一個(gè)七品縣令，喜歡用打板子來懲戒那些市井無賴，而且有個(gè)慣例：如果沒犯大罪，只打一板，釋放回家，以示愛民如子。

有一個(gè)無賴，想出人頭地卻沒啥指望，心想：既然揚(yáng)不了善名，出惡名也成啊。怎么出惡名？炒作唄！怎么炒作？找名人呀！隔現(xiàn)在，注冊個(gè)微博賬號隨便找個(gè)流量明星就能開撕啊 ——那時(shí)候不行，還沒有微博一說，他自然想到了他的行政長官——縣令。

于是在光天化日之下，無賴站在縣衙門前撒了一泡尿，后果是可想而知，這是明目張膽的藐視公堂無視法律啊，自然被請進(jìn)大堂挨了一板子——這無賴身體也是好，挨了板子后居然昂首挺胸回家了。躺了一天，嘿！身上啥事也沒有！無賴在這件事上的決心還很大，第二天如法炮制，全然不顧行政長管的仁慈和衙門的體面，第三天、第四天......每天去縣衙門領(lǐng)一個(gè)板子回來，還喜氣洋洋地，堅(jiān)持一個(gè)月之久！這無賴的名氣已經(jīng)和衙門口的臭氣一樣，傳遍八方了！

縣令大人噤著鼻子，呆呆地盯著案子上的驚堂木，擰著眉頭思考一個(gè)問題：這三十個(gè)大板子怎么不好使捏？......想當(dāng)初，本老爺可是因?yàn)閵W數(shù)加分才金榜題名的，今天要好好建個(gè)數(shù)學(xué)模型，好歹要解決這個(gè)問題，挽回一點(diǎn)面子：

——人（系統(tǒng)！）挨板子（沖擊?。┮院?，會(huì)有什么表現(xiàn)（輸出?。?？

——廢話，疼唄！

——如何量化呢？

——看疼到啥程度。像這無賴的體格，每天挨一個(gè)板子啥事都不會(huì)有，連哼一下都不會(huì)有，你也看到他那得意洋洋的嘴臉了；如果一次連揍他十個(gè)板子，他可能會(huì)皺皺眉頭，咬咬牙，硬挺著不哼；揍到二十個(gè)板子，他會(huì)疼得臉部扭曲，象豬似地哼哼；揍到三十個(gè)板子，他可能會(huì)象驢似地嚎叫，一把鼻涕一把淚地求你饒他一命；揍到四十個(gè)板子，他會(huì)大小便失禁，勉強(qiáng)哼出聲來；揍到五十個(gè)板子，他連哼一下都不可能——死啦！

縣令雙手捧腮，若有所悟，擰緊的眉頭漸漸松弛下來：

——嗚呼呀！為啥那個(gè)無賴連挨了三十天大板卻不喊繞命，而一次連續(xù)打上三十個(gè)大板呀？

—— 呀呼嘿，打一次的時(shí)間間隔（Δτ=24小時(shí)）太長了，所以那個(gè)無賴承受的痛苦程度一天一利索，沒有疊加，始終是一個(gè)常數(shù)；如果縮短打板子的時(shí)間間隔（建議Δτ=0.5秒），那他的痛苦程度可就迅速疊加了；等到這無賴挨三十個(gè)大板（t=30）時(shí)，痛苦程度達(dá)到了他能喊叫的極限，會(huì)收到最好的懲戒效果，再多打就顯示不出您的仁慈了。

——還是不太明白，時(shí)間間隔小，為什么痛苦程度會(huì)疊加呢？

——這與人（線性時(shí)不變系統(tǒng)）對板子（脈沖、輸入、激勵(lì)）的響應(yīng)有關(guān)。什么是響應(yīng)？人挨一個(gè)板子后，疼痛的感覺會(huì)在一天（假設(shè)的，因人而異）內(nèi)慢慢消失（衰減），而不可能突然消失。這樣一來，只要打板子的時(shí)間間隔很小，每一個(gè)板子引起的疼痛都來不及完全衰減，都會(huì)對最終的痛苦程度有不同的貢獻(xiàn)，總的來說：

t個(gè)大板子造成的痛苦程度=Σ(第τ個(gè)大板子引起的痛苦*衰減系數(shù))

請看下圖：

先考慮挨兩板時(shí)是什么情況：把挨板子時(shí)的疼痛響應(yīng)用??來表示，其中??表示持續(xù)時(shí)間。當(dāng)剛挨最新一板子時(shí)，響應(yīng)顯然為??即?，那相隔??之前還有一板子呢？響應(yīng)是??，所以挨兩板子時(shí)總的疼痛定義為每板子的響應(yīng)乘以持續(xù)時(shí)間：

實(shí)際上兩板子不可能完全一樣，今天是士兵甲打的，明天是士兵乙，兩個(gè)力道完全不在一個(gè)層級上啊，怎么辦？需要修正一下要把激勵(lì)的大小也考慮進(jìn)去：

要是碰上一個(gè)身強(qiáng)力壯，心情又不好的士兵呢？連續(xù)不停地打，這時(shí)可憐的無賴只能祈求上帝了：

當(dāng)??時(shí)，有

如果把積分時(shí)間擴(kuò)展到負(fù)半軸，

這就是卷積公式，它本質(zhì)上說系統(tǒng)（人）在連續(xù)激勵(lì)下（挨板子）所的得到的結(jié)果（疼）。翻譯的學(xué)術(shù)一點(diǎn)：卷積將是過去所有連續(xù)信號經(jīng)過系統(tǒng)的響應(yīng)之后得到的在觀察那一刻的加權(quán)疊加。而現(xiàn)實(shí)生活中，我們就是要解大量的這種問題，這也就是為啥卷積這么常見這么重要的原因。

三、卷積定理又是個(gè)什么玩意？

前面我說了狄拉克函數(shù)，說了卷積，為什么把他們兩個(gè)放在一起？這可以通過卷積定理來說明。

信號與系統(tǒng)或自動(dòng)控制研究的內(nèi)容是輸入、輸出及系統(tǒng)三者之間的關(guān)系。

在第一部分，我們說狄拉克函數(shù)（也就是單位脈沖函數(shù)）的傅里葉變換橫貫在整個(gè)頻域上，因此可以作為一個(gè)理想的測試信號來確定系統(tǒng)的在各個(gè)頻率上的響應(yīng)情況，也就是說可以用單位脈沖響應(yīng)可以完整的表征系統(tǒng)的響應(yīng)特性。

在第二部分的例子中，打板子可以看成是一種沖擊或脈沖信號，系統(tǒng)的響應(yīng)可以用卷積來計(jì)算。

其中，??為激勵(lì)信號，??為脈沖響應(yīng)。

這些都是在時(shí)域觀察的，如果我們切換到頻域，會(huì)是什么樣？假設(shè)激勵(lì)信號的傅里葉變換為??，脈沖響應(yīng)??的傅里葉變換為??，輸入?表示輸入有哪些分量，系統(tǒng)單位脈沖響應(yīng)??表示每個(gè)分量會(huì)有怎樣的響應(yīng)，那兩者相乘不就把輸入的那些分量篩選出來了？——乘積是不是就代表系統(tǒng)的不同頻率下響應(yīng)？

等等，我們剛才說了個(gè)什么事？我們先在時(shí)域里面看，認(rèn)為系統(tǒng)的輸出為輸入與單位脈沖響應(yīng)的卷積；然后又切換到頻域看，認(rèn)為系統(tǒng)的輸出為輸入傅里葉變換與單位脈沖福利變換的乘積。我們看的是同一個(gè)事情，為什么結(jié)果不同——難道他們是一回事？

你的猜想是對的，這兩個(gè)東西還真是一回事，這就是卷積定理：函數(shù)卷積的傅立葉變換是函數(shù)傅立葉變換的乘積。具體分為時(shí)域卷積定理和頻域卷積定理，時(shí)域卷積定理即時(shí)域內(nèi)的卷積對應(yīng)頻域內(nèi)的乘積；頻域卷積定理即頻域內(nèi)的卷積對應(yīng)時(shí)域內(nèi)的乘積，兩者具有對偶關(guān)系。

還記得我們以前說過的，時(shí)域和頻域有某種對稱性嘛？時(shí)域的乘法與頻域卷積或時(shí)域卷積與頻域乘法是具有對稱性的，有了這個(gè)工具，我們在處理問題的時(shí)候就可以隨意轉(zhuǎn)換，哪個(gè)域方便就在哪個(gè)域計(jì)算。

1. 準(zhǔn)備寫本書

2. 麻省理工公開課：微積分

3. 太騷了，用Excel玩機(jī)器學(xué)習(xí)！

4. 如何評判一個(gè)深度學(xué)習(xí)框架？

5. 統(tǒng)計(jì)學(xué)知識闖關(guān)之十問十答
   

6. 機(jī)器學(xué)習(xí)理論基礎(chǔ)到底有多可靠？