點擊上方“小白學(xué)視覺”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時間送達

一、分類問題

分類問題其實和回歸問題很相似，但是它的輸出值y值（也即是說我們打算預(yù)測的值）只是少量的一些離散值，像是如果我們只是想要機器通過“觀察”某個西瓜的一些特征從而來告訴我們這個西瓜是好是壞，那么我們就可以設(shè)輸出值y為0表示壞瓜，1表示好瓜，那么判斷這個西瓜好壞的過程其實就是一個分類問題，它的輸出值就是離散的（僅為0或者1）?。

二、二元分類

而分類問題中最簡單的是二元分類，顧名思義，就是輸出值只有兩個，就像上面那個例子，結(jié)果只有好瓜和壞瓜，不會輸出“不好不壞的”這種莫名其妙的瓜。

在二元分類中，我們常常用0和1來限定y值，繼續(xù)套用上面那個分瓜的例子，我們假設(shè)x⁽ⁱ⁾?表示西瓜的特征，那么y就被稱作西瓜的標(biāo)簽（也就是類別），y的0值往往被稱作西瓜的“負類”，1值便稱作西瓜的“正類”。有時候我們還會用“+”和“-”來代替1和0，像是在圖上的時候，這樣會表現(xiàn)的更清楚。

三、Sigmoid函數(shù)

既然分類問題和回歸問題的區(qū)別僅僅是輸出值不同，那么線性回歸是不是也能拿來當(dāng)作分類問題的模型使用呢？就像是那個西瓜，我們?nèi)绻扔镁€性回歸學(xué)習(xí)一批好瓜和壞瓜的特征，然后似乎就可以用訓(xùn)練好的模型來預(yù)測一個新出現(xiàn)的西瓜是更接近好瓜還是壞瓜了。

這樣做確實可以，但得到的結(jié)果往往非常不理想。既然我們已經(jīng)很清楚的知道y要么是0要么是1，就沒有必要再用這種吃力不討好的方式去強行擬合一條回歸曲線。但“回歸”的假設(shè)函數(shù)hθ(x)的原理是沒有毛病的，因此，我們只需要對原來的線性回歸的假設(shè)函數(shù)做出一些修改:

就可以讓原來的“回歸”曲線變成一條分類曲線。

這里的也被叫做邏輯函數(shù)或Sigmoid函數(shù)，它的圖像如下：

這個時候g(z)在z→∞的時候趨向于1，在z→?∞的時候趨向于0而且除了g(z)，它上面的函數(shù)h(x)也被限制在區(qū)間(0,1)之間取值。這個sigmoid函數(shù)是一個非常神奇的函數(shù)，它不僅把輸出y映射在了0，1之內(nèi)，還是一個非常符合“自然”的函數(shù)，因為它默認了樣本服從高斯分布——太詳細的內(nèi)容我們在之后的“廣義生成模型”中討論，現(xiàn)在講這個就跑的太遠啦。目前的話，我們就先姑且認為我們通過一個神奇的函數(shù)把線性回歸變成了用于解決分類問題的邏輯回歸。

像之前一樣，我們讓x0=1，可以得到：

然后，又因為sigmoid函數(shù)擁有的優(yōu)良求導(dǎo)性質(zhì)：

我們就可以利用這個函數(shù)來擬合邏輯回歸模型了。

四、算法導(dǎo)出

根據(jù)我們對線性回歸應(yīng)用的在一系列假設(shè)的情況下求極大似然的方式，我們可以賦予我們的分類模型一系列概率假設(shè)，然后通過最大似然來估計擬合參數(shù)。假設(shè)：

當(dāng)然，這個兩個式子可以合為：

假設(shè)訓(xùn)練集中的m個訓(xùn)練樣本是相互獨立的，我們可以這樣寫出參數(shù)的似然估計：

同線性回歸中的運算方式一樣，我們?nèi)?shù)似然函數(shù)：

五、梯度上升

為了讓l(θ)取到最大值，我們這次使用梯度上升法，它與梯度下降一樣，只不過方向θ要增大，因此，θ的梯度更新方程為：

這個方程中我們使用了加號（線性回歸中的梯度下降我們用的是負號），因為我們想要求的是函數(shù)的最大值。（這也是它被稱為梯度上升的原因）。

假設(shè)訓(xùn)練集中只有一個訓(xùn)練樣本(x,y)，我們對l(θ)求導(dǎo)以此來獲得隨機梯度上升的規(guī)則：

然后，我們將得出的結(jié)果應(yīng)用到隨機梯度上升的θ更新公式：

若是應(yīng)用到批梯度上升則是：

將他們和之前的最小均方法里面的梯度下降的θ的更新公式作比較，會發(fā)現(xiàn)二者一模一樣。但是，事實上這里的hθ(x)已經(jīng)變?yōu)殛P(guān)于θTx(i)的非線性函數(shù)（它的函數(shù)式和線性回歸地h(x)是不一樣的），所以這與我們的線性回歸并不是同一個算法。

如果你還關(guān)注過其它的一些關(guān)于機器學(xué)習(xí)的消息的話，你會覺得這個函數(shù)很眼熟，因為這個函數(shù)，事實上也是神經(jīng)網(wǎng)絡(luò)中單個神經(jīng)元常用的激勵函數(shù)。

下載1：OpenCV-Contrib擴展模塊中文版教程

在「小白學(xué)視覺」公眾號后臺回復(fù)：擴展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴展模塊教程中文版，涵蓋擴展模塊安裝、SFM算法、立體視覺、目標(biāo)跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。

下載2：Python視覺實戰(zhàn)項目52講

在「小白學(xué)視覺」公眾號后臺回復(fù)：Python視覺實戰(zhàn)項目，即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計數(shù)、添加眼線、車牌識別、字符識別、情緒檢測、文本內(nèi)容提取、面部識別等31個視覺實戰(zhàn)項目，助力快速學(xué)校計算機視覺。

下載3：OpenCV實戰(zhàn)項目20講

在「小白學(xué)視覺」公眾號后臺回復(fù)：OpenCV實戰(zhàn)項目20講，即可下載含有20個基于OpenCV實現(xiàn)20個實戰(zhàn)項目，實現(xiàn)OpenCV學(xué)習(xí)進階。

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群（以后會逐漸細分），請掃描下面微信號加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~