↑ 點(diǎn)擊藍(lán)字?關(guān)注極市平臺(tái)

作者丨?磐懟懟

來(lái)源丨深度學(xué)習(xí)與計(jì)算機(jī)視覺(jué)

編輯丨極市平臺(tái)

極市導(dǎo)讀

?

梯度下降算法是工業(yè)中最常用的機(jī)器學(xué)習(xí)算法之一，但也是很多新手難以理解的算法之一。如果你剛剛接觸機(jī)器學(xué)習(xí)，那么梯度下降算法背后的數(shù)學(xué)原理是比較難理解的。本文將幫助你了解梯度下降算法背后的工作原理。?>>加入極市CV技術(shù)交流群，走在計(jì)算機(jī)視覺(jué)的最前沿

介紹

在本文中，我們會(huì)了解損失函數(shù)的作用，梯度下降的工作原理，以及如何選擇學(xué)習(xí)參數(shù)。

什么是損失函數(shù)

它是一個(gè)函數(shù)，用于衡量模型對(duì)任何給定數(shù)據(jù)的性能。損失函數(shù)將預(yù)測(cè)值與期望值之間的誤差進(jìn)行量化，并以單個(gè)實(shí)數(shù)的形式表示出來(lái)。

在對(duì)初始參數(shù)進(jìn)行假設(shè)后，我們會(huì)計(jì)算了損失函數(shù)，以降低損失函數(shù)為目標(biāo)，利用梯度下降算法對(duì)給定數(shù)據(jù)進(jìn)行參數(shù)修正。下面是它的數(shù)學(xué)表示：

什么是梯度下降

假設(shè)你在玩一個(gè)游戲，玩家在山頂，他們要求到達(dá)山的最低點(diǎn)，此外，他們還蒙著眼睛，那么，你認(rèn)為怎樣才能到達(dá)最低點(diǎn)呢？

最好的辦法是觀察地面，找出地面下降的地方，從這個(gè)位置開(kāi)始，向下降方向邁出一步，重復(fù)這個(gè)過(guò)程，直到到達(dá)最低點(diǎn)。

梯度下降法是一種求解函數(shù)局部極小值的迭代優(yōu)化算法。

要用梯度下降法求函數(shù)的局部極小值，必須選擇與當(dāng)前點(diǎn)處函數(shù)的負(fù)梯度（遠(yuǎn)離梯度）方向。如果我們采取與梯度的正方向，我們將接近函數(shù)的局部極大值，這個(gè)過(guò)程稱為梯度上升。

梯度下降最初是由柯西在1847年提出的，它也被稱為最速下降。

梯度下降算法的目標(biāo)是最小化給定函數(shù)（比如損失函數(shù)）。為了實(shí)現(xiàn)這一目標(biāo)，它迭代地執(zhí)行兩個(gè)步驟：

1. 計(jì)算梯度（斜率），函數(shù)在該點(diǎn)的一階導(dǎo)數(shù)
2. 在與梯度相反的方向上移動(dòng)一步（移動(dòng)）

Alpha被稱為學(xué)習(xí)率-優(yōu)化過(guò)程中的一個(gè)調(diào)整參數(shù)，它決定了步長(zhǎng)。

繪制梯度下降算法

當(dāng)我們有一個(gè)單一的參數(shù)（θ），我們可以在y軸上繪制因變量損失值，并在x軸上繪制θ。如果有兩個(gè)參數(shù)，我們可以進(jìn)行三維繪圖，其中一個(gè)軸上有損失值，另兩個(gè)軸上有兩個(gè)參數(shù)（θ）。

它也可以通過(guò)使用等高線來(lái)可視化，這會(huì)顯示一個(gè)二維的三維繪圖，其中包括沿兩個(gè)軸的參數(shù)和等高線的響應(yīng)值。遠(yuǎn)離中心的響應(yīng)值增加，并且隨著環(huán)的增加而增加。

α-學(xué)習(xí)率

有了前進(jìn)的方向之后，現(xiàn)在我們必須決定我們要采取的步大小。

必須謹(jǐn)慎選擇，以達(dá)到局部最小值。

• 如果學(xué)習(xí)率太高，我們可能會(huì)超過(guò)最小值，而不會(huì)達(dá)到最小值
• 如果學(xué)習(xí)率太低，訓(xùn)練時(shí)間可能會(huì)太長(zhǎng)

a） 學(xué)習(xí)率最優(yōu)，模型收斂到最小

b） 學(xué)習(xí)速度太小，需要更多的時(shí)間，但會(huì)收斂到最小值

c） 學(xué)習(xí)率高于最優(yōu)值，較慢速度的收斂（1/c<η<2/c）

d） 學(xué)習(xí)率非常大，它會(huì)過(guò)度偏離，偏離最小值，學(xué)習(xí)性能下降

注：隨著梯度減小而向局部最小值移動(dòng)，步長(zhǎng)減小，因此，學(xué)習(xí)速率（alpha）可以在優(yōu)化過(guò)程中保持不變，而不需要迭代地改變。

局部最小值

成本函數(shù)可以由許多最小點(diǎn)組成。梯度可以落在任何一個(gè)極小值上，這取決于初始點(diǎn)（即初始參數(shù)θ）和學(xué)習(xí)速率，因此，在不同的起點(diǎn)和學(xué)習(xí)率下，優(yōu)化可以收斂到不同的點(diǎn)。

梯度下降的Python代碼實(shí)現(xiàn)

結(jié)尾

一旦我們調(diào)整了學(xué)習(xí)參數(shù)(alpha)并得到了最優(yōu)的學(xué)習(xí)速率，我們就可以開(kāi)始迭代了，直到我們收斂到局部最小值。

參考鏈接：https://www.analyticsvidhya.com/blog/2020/10/how-does-the-gradient-descent-algorithm-work-in-machine-learning/

推薦閱讀

• 人腦是怎么防止梯度消失和梯度爆炸的?

• 梯度消失和梯度爆炸問(wèn)題的最完整解析

• 隨機(jī)梯度蒙特卡洛算法-重要性采樣｜NeurIPS 2020

添加極市小助手微信（ID : cvmart2），備注：姓名-學(xué)校/公司-研究方向-城市（如：小極-北大-目標(biāo)檢測(cè)-深圳），即可申請(qǐng)加入極市目標(biāo)檢測(cè)/圖像分割/工業(yè)檢測(cè)/人臉/醫(yī)學(xué)影像/3D/SLAM/自動(dòng)駕駛/超分辨率/姿態(tài)估計(jì)/ReID/GAN/圖像增強(qiáng)/OCR/視頻理解等技術(shù)交流群：每月大咖直播分享、真實(shí)項(xiàng)目需求對(duì)接、求職內(nèi)推、算法競(jìng)賽、干貨資訊匯總、與?10000+來(lái)自港科大、北大、清華、中科院、CMU、騰訊、百度等名校名企視覺(jué)開(kāi)發(fā)者互動(dòng)交流~

△長(zhǎng)按添加極市小助手

△長(zhǎng)按關(guān)注極市平臺(tái)，獲取最新CV干貨

覺(jué)得有用麻煩給個(gè)在看啦~??