Hugging Face 3000+NLP預(yù)訓(xùn)練模型庫整理分享

????在自然語言處理（NLP）領(lǐng)域中，使用語言模型預(yù)訓(xùn)練方法在多項NLP任務(wù)上都獲得了不錯的提升，廣泛受到了各界的關(guān)注。在bert之前，將預(yù)訓(xùn)練的embedding應(yīng)用到下游任務(wù)的方式大致可以分為2種，一種是feature-based，例如ELMo這種將經(jīng)過預(yù)訓(xùn)練的embedding作為特征引入到下游任務(wù)的網(wǎng)絡(luò)中；一種是fine-tuning，例如GPT這種將下游任務(wù)接到預(yù)訓(xùn)練模型上，然后一起訓(xùn)練。然而這2種方式都會面臨同一個問題，就是無法直接學(xué)習(xí)到上下文信息，像ELMo只是分別學(xué)習(xí)上文和下文信息，然后concat起來表示上下文信息，抑或是GPT只能學(xué)習(xí)上文信息。

????隨后提出一種基于transformer encoder的預(yù)訓(xùn)練模型，可以直接學(xué)習(xí)到上下文信息，叫做bert。bert使用了12個transformer encoder block，在13G的數(shù)據(jù)上進行了預(yù)訓(xùn)練，可謂是nlp領(lǐng)域大力出奇跡的代表。在整個流程上與transformer encoder沒有大的差別，只是在embedding，multi-head attention，loss上有所差別。自此開始，各式各樣的預(yù)訓(xùn)練自然語言模型層出不窮，并且在各式各樣的NLP任務(wù)中取得不錯的效果。

?????

????本資源由Hugging Face整理分享，包含了3000+的已經(jīng)與訓(xùn)練好的自然語言處理模型庫，包含了各式各樣的NLP模型。

????全部數(shù)據(jù)獲取地址：https://huggingface.co/models?p=0

?????

部分?jǐn)?shù)據(jù)截圖