?NLP?

轉(zhuǎn)自：機(jī)器之心

斯坦福大學(xué) CS224N 是 NLP 領(lǐng)域最權(quán)威的課程之一。

自然語(yǔ)言處理（NLP）是人工智能重要的組成部分。從網(wǎng)絡(luò)搜索、廣告、電子郵件到客戶(hù)服務(wù)、語(yǔ)言翻譯、虛擬代理、醫(yī)療報(bào)告等，NLP 的應(yīng)用幾乎無(wú)處不在。近年來(lái)，深度學(xué)習(xí)方法在許多 NLP 任務(wù)上獲得了非常高的性能。

斯坦福大學(xué) CS224N 一直是 NLP 領(lǐng)域最權(quán)威的課程之一。2021 年冬季的課程于年初開(kāi)課，之前僅對(duì)注冊(cè)學(xué)生開(kāi)放，現(xiàn)在該課程已在 YouTube 上上線(xiàn)全部?jī)?nèi)容，公開(kāi)可看。

YouTube 地址：https://www.youtube.com/playlist?list=PLoROMvodv4rOSH4v6133s9LFPRHjEmbmJ

課程資料也可在原課程鏈接中查看：http://web.stanford.edu/class/cs224n/

該課程的授課講師是斯坦福大學(xué)教授 Christopher Manning 以及他的三年級(jí)博士生 John Hewitt。該課程全面介紹了 NLP 深度學(xué)習(xí)的前沿研究，使用 PyTorch 授課。學(xué)習(xí)該課程之前同學(xué)們需要熟練使用 Python、掌握大學(xué)微積分、線(xiàn)性代數(shù)、概率論與統(tǒng)計(jì)的基本知識(shí)，并了解機(jī)器學(xué)習(xí)的一些基礎(chǔ)知識(shí)，包括模型構(gòu)建、梯度下降等。

課程內(nèi)容回顧

2021 年 CS224N 冬季課程早已于 1 月 12 日開(kāi)課，并于 3 月 18 日結(jié)束。

1 月課程主要包括詞向量、Gensim 詞向量示例、 詞窗口分類(lèi)、Python 知識(shí)回顧、反向傳播和神經(jīng)網(wǎng)絡(luò)、依存句法分析、PyTorch 知識(shí)回顧、梯度消失、Fancy 循環(huán)神經(jīng)網(wǎng)絡(luò)和 Seq2Seq 等。

2 月課程主要包括機(jī)器翻譯、注意力、子詞模型、Transformer 和預(yù)訓(xùn)練、問(wèn)答系統(tǒng)（陳丹琦）、自然語(yǔ)言生成、模型分析與解釋以及 T5 和大型語(yǔ)言模型等。

3 月的課程主要包括卷積神經(jīng)網(wǎng)絡(luò)（ConvNet）、基于樹(shù)形結(jié)構(gòu)的 RNN、深度學(xué)習(xí)中選區(qū)解析和語(yǔ)言結(jié)構(gòu)扮演的角色、語(yǔ)言模型中的知識(shí)集成、安全 & 倫理 & 偏見(jiàn)以及 NLP 和深度學(xué)習(xí)的未來(lái)發(fā)展等。

講師介紹

Christopher Manning

Christopher Manning 是斯坦福大學(xué) AI 實(shí)驗(yàn)室主任、人工智能和計(jì)算語(yǔ)言學(xué)領(lǐng)域的權(quán)威專(zhuān)家。他曾先后在卡內(nèi)基梅隆大學(xué)、悉尼大學(xué)等任教，1999 年回到母校斯坦福，就職于計(jì)算機(jī)科學(xué)和語(yǔ)言學(xué)系，是斯坦福自然語(yǔ)言處理組（Stanford NLP Group）的創(chuàng)始成員及負(fù)責(zé)人。

Manning 的研究目標(biāo)是以智能的方式實(shí)現(xiàn)人類(lèi)語(yǔ)言的處理、理解及生成，研究領(lǐng)域包括樹(shù)形 RNN 、情感分析、基于神經(jīng)網(wǎng)絡(luò)的依存句法分析、神經(jīng)機(jī)器翻譯和深度語(yǔ)言理解等，是 NLP 領(lǐng)域的深度學(xué)習(xí)開(kāi)拓者。他是國(guó)際計(jì)算機(jī)學(xué)會(huì) (ACM)、國(guó)際人工智協(xié)會(huì)（AAAI）和國(guó)際計(jì)算語(yǔ)言學(xué)會(huì)（ACL）等國(guó)際權(quán)威學(xué)術(shù)組織的 Fellow，曾獲 ACL、EMNLP、COLING、CHI 等國(guó)際頂會(huì)最佳論文獎(jiǎng)，并著有《統(tǒng)計(jì)自然語(yǔ)言處理基礎(chǔ)》、《信息檢索導(dǎo)論》等自然語(yǔ)言處理著名教材。

John Hewitt

John Hewitt 現(xiàn)在是斯坦福大學(xué)計(jì)算機(jī)科學(xué)專(zhuān)業(yè)博士四年級(jí)的學(xué)生，師從 Manning 和 Percy Liang，主要研究方向?yàn)樽匀徽Z(yǔ)言處理。John Hewitt 曾獲 NSF 研究生獎(jiǎng)學(xué)金（NSF Graduate Research Fellowship）。他的研究目標(biāo)是設(shè)計(jì)一種能夠穩(wěn)健且有效地學(xué)習(xí)理解人類(lèi)語(yǔ)言的系統(tǒng)，最終促進(jìn)人類(lèi)的交流和教育。

往期精彩：
?時(shí)隔一年！深度學(xué)習(xí)語(yǔ)義分割理論與代碼實(shí)踐指南.pdf第二版來(lái)了！
?我工作第五年的學(xué)習(xí)與讀書(shū)之法
?基于閾值處理的圖像分割算法！
?基于邊緣檢測(cè)的圖像分割算法！