機器學(xué)習(xí)算法備忘單！
轉(zhuǎn)自：Datawhale 機器學(xué)習(xí)（ML）是人工智能（AI）和計算機科學(xué)的一個子領(lǐng)域，主要是利用數(shù)據(jù)和算法來模仿人的學(xué)習(xí)方式，逐步提高其準確性。使用這個樹狀圖作為指南，以確定使用哪種ML算法來解決你的AI問題。
圖片來源：LatinX 在 AI? 中的機器學(xué)習(xí)算法備忘單
如果你想知道在不同的應(yīng)用程序中使用哪些機器學(xué)習(xí)算法，或者你是一個開發(fā)者，同時為你試圖解決的問題尋找一種方法，請繼續(xù)閱讀下文，并以這些步驟作為指導(dǎo)。
無監(jiān)督學(xué)習(xí)使用未標記的信息數(shù)據(jù)，這樣機器應(yīng)該在沒有指導(dǎo)的情況下根據(jù)模式、相似性和差異來工作。
另一方面，有監(jiān)督學(xué)習(xí)有一個 "老師" 存在，他負責通過標記數(shù)據(jù)來訓(xùn)練機器工作。接下來，機器會收到一些示例，使其能夠產(chǎn)生正確的結(jié)果。
但是對于這些類型的學(xué)習(xí)，有一種混合的方法，這種半監(jiān)督學(xué)習(xí)適用于有標簽和無標簽的數(shù)據(jù)。這種方法使用一個極小的標記數(shù)據(jù)集來訓(xùn)練和標記其余數(shù)據(jù)，并進行相應(yīng)的預(yù)測，最后給出問題的解決方案。
首先，你需要知道你所處理的維數(shù)，它意味著你的問題中輸入的數(shù)量（也被稱為特征）。如果你正在處理一個大數(shù)據(jù)集或許多特征，你可以選擇降維算法。
一、無監(jiān)督學(xué)習(xí)：降維
數(shù)據(jù)集合中的大量維度可能會對機器學(xué)習(xí)算法的性能產(chǎn)生重大影響。"維度詛咒" 是一個用來描述大維度可能造成的麻煩的術(shù)語，例如，聚類中的 "距離聚集（Distance Concentration）" 問題，即隨著數(shù)據(jù)維度的增加，不同的數(shù)據(jù)點會有相同的值。
最小化訓(xùn)練數(shù)據(jù)中輸入變量數(shù)量的技術(shù)被稱為 "降維"。
現(xiàn)在你需要熟悉特征提取和特征選擇的概念，以便繼續(xù)學(xué)習(xí)。
將原始數(shù)據(jù)轉(zhuǎn)化為可以處理的數(shù)字特征，同時保留原始數(shù)據(jù)集的信息，這一過程被稱為特征提取。它比直接將機器學(xué)習(xí)應(yīng)用于原始數(shù)據(jù)產(chǎn)生更好的結(jié)果。
它用于三種已知的降維算法，包括主成分分析、奇異值分解和線性判別分析，但你需要清楚地知道你想用哪種工具來尋找模式或從數(shù)據(jù)中推斷出新的信息。
如果你不希望合并數(shù)據(jù)中的變量，而是想通過只保留重要的特征來去除不需要的特征，那么你可以使用主成分分析算法。
PCA（主成分分析）
主成分分析是一種降低數(shù)據(jù)集維數(shù)的數(shù)學(xué)算法，在保留大部分信息的同時簡化變量的數(shù)量。這種以準確性換取簡單性的方法被廣泛用于在大型數(shù)據(jù)集中尋找模式。
圖片來源：什么是主成分分析？
https://liorpachter.wordpress.com/2014/05/26/what-is-principal-component-analysis/
在線性連接方面，它在有大量數(shù)據(jù)存在的情況下有著廣泛的應(yīng)用，如媒體編輯、統(tǒng)計質(zhì)量控制、投資組合分析，以及人臉識別、圖像壓縮等許多應(yīng)用。
另外，如果你想要一個通過組合你正在使用的數(shù)據(jù)的變量來工作的算法，簡單的PCA可能不是你使用的最佳工具。接下來，你可以有一個概率模型或一個非概率模型。概率數(shù)據(jù)是涉及到隨機選擇的數(shù)據(jù)，是大多數(shù)科學(xué)家的首選，可以得到更準確的結(jié)果。而非概率數(shù)據(jù)不涉及這種隨機性。
如果你正在處理非概率數(shù)據(jù)，你應(yīng)該使用奇異值分解算法。
SVD（奇異值分解）
在機器學(xué)習(xí)領(lǐng)域，SVD允許數(shù)據(jù)被轉(zhuǎn)化為一個可以輕松區(qū)分類別的空間。這種算法將一個矩陣分解為三個不同的矩陣。例如，在圖像處理中，使用數(shù)量減少的矢量來重建與原始圖像非常接近的圖片。
使用給定數(shù)量的組件壓縮圖像
與PCA算法相比，兩者都可以對數(shù)據(jù)進行降維處理。但PCA跳過了不太重要的成分，而SVD只是把它們變成特殊的數(shù)據(jù)，表示為三個不同的矩陣，更容易操作和分析。
當涉及到概率方法時，對于更抽象的問題，最好使用線性判別分析算法。
LDA（線性判別分析）
線性判別分析（LDA）是一種分類方法，在這種方法中，先前已經(jīng)確定了兩個或更多的組，根據(jù)其特征將新的觀察結(jié)果歸為其中一個。
它不同于PCA，因為LDA發(fā)現(xiàn)了一個優(yōu)化組可分離性的特征子空間，而PCA忽略了類標簽，專注于捕捉數(shù)據(jù)集的最高方差方向。
該算法使用貝葉斯定理，這是一個概率定理，用于根據(jù)一個事件與另一個事件的關(guān)系來確定其發(fā)生的可能性。
它經(jīng)常被用于人臉識別、客戶識別和醫(yī)學(xué)領(lǐng)域，以識別病人的疾病狀況。
從UMIST數(shù)據(jù)庫中隨機選取的五個主體（類）的170張人臉圖像在（a）基于PCA的子空間，（b）基于D-LDA的子空間，以及（c）基于DF-LDA的子空間的分布。
資料來源：Face recognition using LDA-based algorithms
https://www.researchgate.net/publication/5613964FacerecognitionusingLDA-based_algorithms
下一步是選擇你是否希望你的算法有響應(yīng)，這意味著你要開發(fā)一個基于標記數(shù)據(jù)的預(yù)測模型來教導(dǎo)你的機器。如果你愿意使用非標簽數(shù)據(jù)，你可以使用聚類技術(shù)，這樣你的機器就可以在沒有指導(dǎo)的情況下工作，搜索相似性。
另一方面，選擇相關(guān)特征（變量、預(yù)測因子）的子集用于模型創(chuàng)建的過程被稱為特征選擇。它有助于簡化模型，使研究人員和用戶更容易理解它們，以及減少訓(xùn)練周期和避免維度詛咒。
它包括聚類法、回歸法和分類法。
二、無監(jiān)督學(xué)習(xí)：聚類
聚類是一種分離具有相似特征的群體并將其分配到群組的技術(shù)。
如果你正在尋找一種分層的算法：
Hierarchical Clustering（層次聚類）
這種類型的聚類是機器學(xué)習(xí)中最流行的技術(shù)之一。層次聚類協(xié)助一個組織對數(shù)據(jù)進行分類，以確定相似性，以及不同的分組和特征，從而使其定價、商品、服務(wù)、營銷信息和其他方面的業(yè)務(wù)有的放矢。它的層次結(jié)構(gòu)應(yīng)顯示出類似于樹狀數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)，即所謂的樹狀圖。有兩種方法對數(shù)據(jù)進行分組：聚類和分化。
聚合式聚類是一種 "自下而上" 的方法。換句話說，每個項目首先被認為是一個單元素集群（葉子）。在該方法的每個階段，最具可比性的兩個集群被連接成一個新的更大的集群（結(jié)點）。這種方法反復(fù)進行，直到所有的點都屬于單個大簇（根）。
分化聚類以一種 "自上而下" 的方式工作。它從根部開始，所有項目都分組在一個集群中，然后在每個迭代階段將最多的項目分成兩個。迭代程序直到所有的項目都在他們的組中。
如果你不尋找分層解決方案，則必須確定你的方法是否需要指定要使用的集群數(shù)量。如果你不需要定義，你可以利用基于密度的有噪聲的應(yīng)用程序空間聚類算法。
DBSCAN（基于密度的有噪聲的應(yīng)用程序空間聚類法）
當涉及到任意形狀的聚類或檢測異常值時，最好使用基于密度的聚類方法。DBSCAN是一種檢測那些任意形狀的聚類和有噪聲的聚類方法，它根據(jù)兩個參數(shù)：eps和minPoints將彼此接近的點分組。
eps告訴我們兩個點之間需要有多大的距離才能被視為一個集群。而minPoints是創(chuàng)建一個集群的最小點數(shù)。
我們在分析Netflix服務(wù)器的異常值時使用了這種算法。流媒體服務(wù)運行著數(shù)以千計的服務(wù)器，通常只有不到百分之一的服務(wù)器能夠變得不健康，這會降低流媒體的性能。真正的問題是這個問題不容易被發(fā)現(xiàn)，為了解決這個問題，Netflix使用DBSCAN指定一個要監(jiān)測的指標，然后收集數(shù)據(jù)，最后傳遞給算法來檢測服務(wù)器的異常值。
資料來源：Tracking down the Villains: Outlier Detection at Netflix
日常使用可以是電子商務(wù)向客戶推薦產(chǎn)品。對用戶之前購買過的產(chǎn)品數(shù)據(jù)應(yīng)用DBSCAN。
如果你需要指定聚類的數(shù)量，有三種現(xiàn)有的算法可供使用，包括K-Modes、K-Means和高斯混合模型。接下來，你需要知道是否要使用分類變量，這是一種離散變量，通過對觀察值進行分組來捕捉定性的后果。如果你要使用它們，你可以選擇K-Modes。
K-Modes
這種方法被用來對分類變量進行分組。我們確定這些類型的數(shù)據(jù)點之間的總不匹配度。我們的數(shù)據(jù)點之間的差異越少，它們就越相似。
K-Modes和K-Means之間的主要區(qū)別是：對于分類數(shù)據(jù)點，我們不能計算距離，因為它們不是數(shù)字值。
這種算法被用于文本挖掘應(yīng)用、文檔聚類、主題建模（每個聚類組代表一個特定的主題）、欺詐檢測系統(tǒng)和市場營銷。
對于數(shù)值型數(shù)據(jù)，你應(yīng)該使用K-Means聚類。
K-Means
數(shù)據(jù)被聚類為k個組，其方式是同一聚類中的數(shù)據(jù)點是相關(guān)的，而其他聚類中的數(shù)據(jù)點則相距較遠。這種距離經(jīng)常用歐幾里得距離來衡量。換句話說，K-Means算法試圖最小化聚類內(nèi)的距離，最大化不同聚類之間的距離。
搜索引擎、消費者細分、垃圾郵件檢測系統(tǒng)、學(xué)術(shù)表現(xiàn)、缺陷診斷系統(tǒng)、無線通信和許多其他行業(yè)都使用K-Means聚類。
如果預(yù)期的結(jié)果是基于概率的，那么你應(yīng)該使用高斯混合模型。
GMM（高斯混合模型）
這種方法意味著存在許多高斯分布，每個高斯分布代表一個集群。該算法將確定每個數(shù)據(jù)點屬于給定批次數(shù)據(jù)的每個分布的概率。
GMM與K-Means不同，因為在GMM中，我們不知道一個數(shù)據(jù)點是否屬于一個指定的聚類，我們使用概率來表達這種不確定性。而K-Means方法對一個數(shù)據(jù)點的位置是確定的，并開始在整個數(shù)據(jù)集上迭代。
高斯混合模型經(jīng)常被用于信號處理、語言識別、異常檢測和音樂的流派分類。
在使用標記數(shù)據(jù)來訓(xùn)練機器的情況下，首先，你需要指定它是否要預(yù)測數(shù)字，這種數(shù)字預(yù)測將有助于算法解決問題。如果是這樣的話，你可以選擇回歸算法。
三、監(jiān)督學(xué)習(xí)：回歸
回歸是一種機器學(xué)習(xí)算法，其結(jié)果被預(yù)測為一個連續(xù)的數(shù)值。這種方法通常用于銀行、投資和其他領(lǐng)域。
在這里，你需要對速度和準確性做出取舍。如果你正在尋找速度，你可以使用決策樹算法或線性回歸算法。
決策樹
決策樹是一個類似樹形數(shù)據(jù)結(jié)構(gòu)的流程圖。在這里，數(shù)據(jù)根據(jù)一個給定的參數(shù)被連續(xù)分割。每個參數(shù)允許在一個樹節(jié)點中，而整個樹的結(jié)果位于葉子中。有兩種類型的決策樹。
分類樹（是/否類型），這里的決策變量是分類的。 回歸樹（連續(xù)數(shù)據(jù)類型），這里的決策或結(jié)果變量是連續(xù)的。
當特征和輸出變量之間存在復(fù)雜的相互作用時，決策樹就會派上用場。當存在缺失的特征，類別和數(shù)字特征的混合，或特征大小的巨大差異時，與其他方法相比，它們的表現(xiàn)更好。
該算法用于提高促銷活動的準確性、欺詐檢測以及患者嚴重或可預(yù)防疾病的檢測。
線性回歸
基于一個給定的自變量，這種方法預(yù)測因變量的值。因此，這種回歸方法決定了輸入（自變量）和輸出（因變量）之間是否存在線性聯(lián)系。這也是線性回歸這一術(shù)語的由來。
線性回歸非常適合于那些特征和輸出變量具有線性關(guān)系的數(shù)據(jù)集。
它通常用于預(yù)測（這對小公司了解銷售效果特別有用），了解廣告支出和收入之間的聯(lián)系，以及在醫(yī)療行業(yè)了解藥物劑量和病人血壓之間的相關(guān)性。
另外，如果你的算法需要準確性，你可以使用以下三種算法。神經(jīng)網(wǎng)絡(luò)、梯度提升樹和隨機森林。
神經(jīng)網(wǎng)絡(luò)
需要一個神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)特征和目標之間復(fù)雜的非線性關(guān)系。它是一種模擬人腦中神經(jīng)元工作的算法。有幾種類型的神經(jīng)網(wǎng)絡(luò)，包括香草神經(jīng)網(wǎng)絡(luò)（只處理結(jié)構(gòu)化數(shù)據(jù)），以及循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)，它們都可以處理非結(jié)構(gòu)化數(shù)據(jù)。
當你有大量的數(shù)據(jù)（和處理能力），并且準確性對你很重要時，你幾乎肯定會利用神經(jīng)網(wǎng)絡(luò)。
這種算法有很多應(yīng)用，例如釋義檢測、文本分類、語義解析和問答。
Gradient Boosting Tree（梯度提升樹）
梯度提升樹是一種將不同樹的輸出合并進行回歸或分類的方法。這兩種監(jiān)督學(xué)習(xí)都結(jié)合了大量的決策樹，以減少每棵樹單獨面對的過擬合的危險（一種統(tǒng)計建模錯誤，當一個函數(shù)與少量數(shù)據(jù)點過于緊密匹配時，就會出現(xiàn)這種情況，使得模型的預(yù)測能力下降）。這種算法采用了Boosting，它需要連續(xù)組合弱學(xué)習(xí)器(通常是只有一次分裂的決策樹，稱為決策樹樁)，以便每棵新樹都糾正前一棵樹的錯誤。
當我們希望減少偏差誤差時，也就是模型的預(yù)測與目標值之間的差異，我們通常采用梯度提升算法。
當數(shù)據(jù)的維度較少，基本的線性模型表現(xiàn)不佳，可解釋性并不重要，而且沒有嚴格的延遲限制時，梯度提升算法是最有利的。
它被用在很多研究中，比如基于大師級運動員動機的性別預(yù)測算法，使用梯度提升決策樹，探索他們基于心理維度預(yù)測性別的能力，評估參加大師級運動的原因作為統(tǒng)計方法。
隨機森林
隨機森林是一種解決回歸和分類問題的方法。它利用了集成學(xué)習(xí)，這是一種通過結(jié)合幾個分類器來解決復(fù)雜問題的技術(shù)。
它由許多決策樹組成，其中每一個決策樹的結(jié)果都會以平均或平均決策的方式得出最終結(jié)果。樹的數(shù)量越多，結(jié)果的精確度就越高。
當我們有一個巨大的數(shù)據(jù)集并且可解釋性不是一個關(guān)鍵問題時，隨機森林是合適的，因為隨著數(shù)據(jù)集的增大，它變得越來越難以把握。
這種算法被用于股票市場分析、醫(yī)療領(lǐng)域的病人診斷、預(yù)測貸款申請人的信用度，以及欺詐檢測。
對于非數(shù)字預(yù)測算法，你可以選擇分類方法而不是回歸。
四、監(jiān)督學(xué)習(xí)：分類
與回歸方法一樣，你選擇的結(jié)果是偏向于速度還是準確性。
如果你在尋找準確性，你不僅可以選擇核支持向量機，還可以使用之前提到的其他算法，如神經(jīng)網(wǎng)絡(luò)、梯度提升樹和隨機森林?，F(xiàn)在，讓我們來介紹一下這個新算法。
Kernel Support Vector Machine（核支持向量機）
在支持向量機模型中，通常使用核技術(shù)來連接線性和非線性。為了理解這一點，有必要知道SVM方法學(xué)習(xí)如何通過形成決策邊界來分離不同的組。
但是，當我們在一個維度較高的數(shù)據(jù)集面前，而且成本昂貴時，建議使用這種核方法。它使我們能夠在原始特征空間中工作，而不必在高維空間中計算數(shù)據(jù)的坐標。
它主要用于文本分類問題，因為大多數(shù)問題都可以被線性分離。
當需要速度的時候，我們需要看看我們要采用的技術(shù)是否是可解釋的，這意味著它可以解釋你的模型中從頭到尾發(fā)生了什么。在這種情況下，我們可能會使用決策樹算法或Logistic回歸算法。
Logistic Regression（邏輯回歸）
當因變量是分類的時候，就會使用Logistic回歸。通過概率估計，它有助于理解因變量和一個或多個自變量之間的聯(lián)系。
有三種不同類型的Logistic回歸。
二元邏輯回歸，響應(yīng)只有兩個可能的值。 多項式Logistic回歸，三個或更多的結(jié)果，沒有順序。 有序邏輯回歸，三個或更多的類別，有順序。
邏輯回歸算法在酒店預(yù)訂中被廣泛使用，它（通過統(tǒng)計研究）向你展示了你在預(yù)訂中可能想要的選項，如酒店房間、該地區(qū)的一些行程等等。
如果你只對問題的輸入和輸出感興趣，你可以檢查你所處理的數(shù)據(jù)是否太大。如果數(shù)量很大，你可以使用線性支持向量機。
Linear Support Vector Machine（線性支持向量機）
線性SVM用于線性可分離的數(shù)據(jù)。它在具有不同變量的數(shù)據(jù)（線性可分離數(shù)據(jù)）中工作，這些變量可以用一條簡單的直線（線性SVM分類器）來分離。這條直線代表了用戶的行為或通過既定問題的結(jié)果。
由于文本通常是線性可分離的，并且有很多特征，因此線性SVM是用于其分類的最佳選擇。
在我們的下一個算法中，如果數(shù)據(jù)量大或者不大，你都可以使用它。
Na?ve Bayes（樸素貝葉斯）
這種算法是基于貝葉斯定理的。它包括通過對象的概率進行預(yù)測。它被稱為Na?ve（樸素），是因為它假設(shè)一個特征的出現(xiàn)與其他特征的出現(xiàn)無關(guān)。
這種方法深受歡迎，因為它甚至可以超越最復(fù)雜的分類方法。此外，它構(gòu)造簡單，可迅速建立。
由于其易于使用和高效，它被用來做實時決策。與此同時，Gmail使用這種算法來知道一封郵件是否是垃圾郵件。
Gmail垃圾郵件檢測選擇一組詞或 "標記" 來識別垃圾郵件（這種方法也用于文本分類，它通常被稱為詞袋）。接下來，他們使用這些tokens（令牌），將其與垃圾郵件和非垃圾郵件進行比較。最后，使用Na?ve Bayes算法，他們計算出該郵件是否是垃圾郵件的概率。
總結(jié)
我們發(fā)現(xiàn)，機器學(xué)習(xí)是一種被廣泛使用的技術(shù)，由于它經(jīng)常發(fā)生，因此我們無法識別許多應(yīng)用。在這篇文章中，我們不僅區(qū)分了機器學(xué)習(xí)的不同方法，還區(qū)分了如何根據(jù)我們正在處理的數(shù)據(jù)和我們想要解決的問題來使用它們。
要學(xué)習(xí)機器學(xué)習(xí)，你必須具備一些微積分、線性代數(shù)、統(tǒng)計學(xué)和編程技能的知識。你可以使用不同的編程語言來實現(xiàn)其中一種算法，從Python到C++，以及R語言。這取決于你做出最好的決定，并與你的機器一起開始學(xué)習(xí)。
原文鏈接??：
https://medium.com/accel-ai/machine-learning-algorithms-cheat-sheet-990104aaaabc
往期精彩：
深度學(xué)習(xí)論文精讀[1]：FCN全卷積網(wǎng)絡(luò)
深度學(xué)習(xí)論文精讀[2]：UNet網(wǎng)絡(luò)
深度學(xué)習(xí)論文精讀[4]：RefineNet
深度學(xué)習(xí)論文精讀[5]：Attention UNet