1. 深度學習需要多強的數(shù)學基礎(chǔ)?

        共 4356字,需瀏覽 9分鐘

         ·

        2024-04-16 10:05

        點擊上方小白學視覺”,選擇加"星標"或“置頂

        重磅干貨,第一時間送達

        作者:EddyLiu
        https://www.zhihu.com/question/266478287/answer/587489884

        有了基礎(chǔ)的《概率/統(tǒng)計》、《線性代數(shù)》、《微積分》知識,就可以上手深度學習的算法和實踐了。但經(jīng)過一段時間的工程實踐,慢慢覺得大多數(shù)時間都用在選模型,調(diào)超參,或者是網(wǎng)絡(luò)結(jié)構(gòu)的排列組合上。深度學習的黑盒特性越來越明顯。難道深度學習工程師就當真是數(shù)據(jù)“煉丹師”嗎?
        如果,你有了這樣的感覺,下面的視頻不妨抽時間看看(都需要翻墻):

        李宏毅《Machine Learning and having it deep and structured》

        不多說,直接看目錄吧。
        課程地址:
        http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS18.html
        《Theory 1 - Why Deep Structure》
        Can shallow network fit any function

        Potential of Deep
        Is Deep better than Shallow
        《Theory 2 - Optimization》
        When Gradient is Zero

        Deep Linear Network
        Does Deep Network have Local Minima
        Geometry of Loss Surfaces (Conjecture)
        Geometry of Loss Surfaces (Empirical)
        《Theory 3 - Generalization 》
        Capability of Generalization

        Indicator of Generalization

        Sanjeev Arora《The mathematics of machine learning and deep learning

        視頻地址:https://www.youtube.com/watch?v=r07Sofj_puQ
        這是ICM2018的主題演講,雖然Sanjeev Arora作為普林斯頓計算機科學的教授,但演講內(nèi)容深入淺出,并沒有涉及大量的數(shù)學公式和推導,這里貼一下提綱:

        小結(jié)

        這兩部分的內(nèi)容是相互呼應(yīng)的,可以先看李宏毅老師的課程,然后在看Sanjeev Arora教授的分享總結(jié)。

        作者:潤寧 https://www.zhihu.com/question/266478287/answer/313813956
        沒必要再讀個數(shù)學Master了,即使打算做機器學習(包括深度學習)理論方面的研究,數(shù)學專業(yè)本科學的已經(jīng)完全夠了。如果打算做深度學習,建議讀個機器學習方向的Master,同時提高自己的編程能力(比如刷LeetCode)。

        作者:Cv大法代碼醬
        https://www.zhihu.com/question/266478287/answer/2479263874
        機器學習相比,深度學習的大部分內(nèi)容對數(shù)學要求并沒有那么高。
        如果是以工程應(yīng)用和非理論的學術(shù)研究為目的,主要也就是線性代數(shù)的一些運算,各種損失函數(shù),梯度下降法,反向傳播算法。
        比起機器學習中的支持向量機,EM算法,概率圖模型,概率推斷,各種采樣算法,要容易的多。
        用花書要友好一些,在開頭幾章就用較大的篇幅介紹了數(shù)學知識,基本上覆蓋了深度學習的主要數(shù)學知識點。包括:
        線性代數(shù)、概率論與信息論、數(shù)值計算
        大家應(yīng)該能感覺到,花書的第1部分“應(yīng)用數(shù)學與機器學習基礎(chǔ)”和第2部分“深度網(wǎng)絡(luò):現(xiàn)代實踐”相對容易理解,只要有一些數(shù)學基礎(chǔ),都能讀懂。問題出在第3部分-深度學習研究:線性因子模型、自編碼器、表示學習、深度學習中的結(jié)構(gòu)化概率模型、蒙特卡洛方法、直面配分函數(shù)、近似推斷、深度生成模型

        這幾章的數(shù)學知識明顯增多,而且有很多是大家不熟悉的。又出現(xiàn)了令大家普遍頭疼的內(nèi)容,比如MCMC采樣,EM算法:近似推斷和變分推斷和變分法。

        單看描述,很難理解泛函的概念和變分法的原理。
        從上面這些內(nèi)容來看,如果不打好數(shù)學基礎(chǔ),想要學好深度學習也是不現(xiàn)實的。
        不過,題主畢業(yè)后也沒有必要進一步去讀數(shù)學的研究生了,學歷不是解決問題的辦法,要有學習解決問題的能力。

        花書(《深度學習》,人民郵電出版社)分別是目前國內(nèi)深度學習領(lǐng)域銷量最大的教材。大家公認它們的質(zhì)量是很高,但一個尷尬的現(xiàn)狀是:絕大部分人買了這兩本書之后并沒有怎沒看懂,更沒有堅持讀完!

        花書里密集的出現(xiàn)數(shù)學概念和公式,對大部分讀者來說都是很困難的,尤其是不少數(shù)學知識超出了本科“微積分”,“線性代數(shù)”,“概率論與數(shù)理統(tǒng)計”3門課的范圍。見到陌生的數(shù)學符號和公式讓大家茫然不知所措。

        所以我在推薦一個資源--《機器學習的數(shù)學》,配合著它去學習,基本上可以掃清你學西瓜書,花書的數(shù)學障礙。當你看到數(shù)學符號和公式的時候不再會有陌生感,對于這些數(shù)學知識如何用到機器學習和深度學習中,也有一個清晰的認識。

        這本書用最小的篇幅精準的覆蓋了機器學習、深度學習、強化學習所需的核心數(shù)學知識。章節(jié)結(jié)構(gòu)設(shè)計科學合理,不需要的東西,統(tǒng)統(tǒng)不講,這樣可以有效的減小讀者的學習成本。

        如果你想從事學術(shù)研究,也可以打下良好的數(shù)學基礎(chǔ)。

        作者:機器意識
        https://www.zhihu.com/question/266478287/answer/1911910013
        如果希望做開創(chuàng)性的研究,概率論、線性代數(shù)、微積分是不夠的,這些數(shù)學工具提供不了藍圖,需要去了解一些不那么古老的數(shù)學領(lǐng)域,比如近世代數(shù)、微分幾何、泛函分析等。

        打個比方,研究五次方程求根問題,會中學數(shù)學是不夠的,你需要會伽羅華群和域擴張

        工作中很多都是推薦問題,如果了解微分幾何,我們可以用纖維叢的概念去抽象這個問題,用戶特征空間是基空間,用戶特征拼接內(nèi)容特征合是全空間,但是如何利用微分幾何中已知的結(jié)論去優(yōu)化推薦建模,還在探索中,但至少思考的空間更大一些了。


        聲明:部分內(nèi)容來源于網(wǎng)絡(luò),僅供讀者學習、交流之目的。文章版權(quán)歸原作者所有。如有不妥,請聯(lián)系刪除。

            
        下載1:OpenCV-Contrib擴展模塊中文版教程
        在「小白學視覺」公眾號后臺回復(fù):擴展模塊中文教程,即可下載全網(wǎng)第一份OpenCV擴展模塊教程中文版,涵蓋擴展模塊安裝、SFM算法、立體視覺、目標跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。

        下載2:Python視覺實戰(zhàn)項目52講
        小白學視覺公眾號后臺回復(fù):Python視覺實戰(zhàn)項目,即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計數(shù)、添加眼線、車牌識別、字符識別、情緒檢測、文本內(nèi)容提取、面部識別等31個視覺實戰(zhàn)項目,助力快速學校計算機視覺。

        下載3:OpenCV實戰(zhàn)項目20講
        小白學視覺公眾號后臺回復(fù):OpenCV實戰(zhàn)項目20講,即可下載含有20個基于OpenCV實現(xiàn)20個實戰(zhàn)項目,實現(xiàn)OpenCV學習進階。

        交流群


        歡迎加入公眾號讀者群一起和同行交流,目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學影像、GAN、算法競賽等微信群(以后會逐漸細分),請掃描下面微信號加群,備注:”昵稱+學校/公司+研究方向“,例如:”張三 + 上海交大 + 視覺SLAM“。請按照格式備注,否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告,否則會請出群,謝謝理解~


        瀏覽 141
        10點贊
        評論
        收藏
        分享

        手機掃一掃分享

        分享
        舉報
        評論
        圖片
        表情
        推薦
        10點贊
        評論
        收藏
        分享

        手機掃一掃分享

        分享
        舉報
          
          

            1. 欧美性猛交ⅩXXX乱大交妖精 | 久久久久久国产精品mv | 加勒比伊人一区二区综合久久爱 | 国产三级日韩 | 豆花视频官方网站入口在线观看 |