第1章：自然語言處理概述

• 什么是自然語言處理及現(xiàn)狀和前景

• 自然語言處理應用

• 自然語言處理經(jīng)典任務及技術

第2章：數(shù)據(jù)結構與算法基礎

• 時間復雜度、空間復雜度

• 斐波那契數(shù)列的時間和空間復雜度

• 動態(tài)規(guī)劃算法

• 經(jīng)典的DP問題

第3章：機器學習基礎 - 邏輯回歸

• 分類問題以及邏輯回歸重要性

• 邏輯回歸的條件概率

• 最大似然估計

• 構建邏輯回歸的目標函數(shù)

• 優(yōu)化與梯度下降法

• 隨機梯度下降法

第4章：機器學習基礎 - 模型的泛化

• 理解什么是過擬合

• 如何防止過擬合現(xiàn)象

• L1與L2正則

• 交叉驗證

• L1正則與拉普拉斯分布

• L2正則與高斯分布

第二部分：文本處理篇

第5章：分詞、詞的標準化、過濾

• 文本分析流程

• 中英文的分詞

• 最大匹配算法

• 基于語言模型的分詞

• Stemming和Lemmazation

• 停用詞的使用

• 拼寫糾錯問題

• 編輯距離的實現(xiàn)

• 暴力搜索法

• 基于后驗概率的糾錯

第6章：文本的表示

• 單詞的獨熱編碼表示

• 句子的獨熱編碼表示

• tf-idf表示

• 句子相似度比較

• 獨熱編碼下的單詞語義相似度

• 從獨熱編碼到詞向量

• 詞向量的可視化、句子向量

第7章：【項目作業(yè)】豆瓣電影評分預測

• 數(shù)據(jù)描述以及任務

• 中文分詞

• 獨熱編碼、tf-idf

• 分布式表示與Word2Vec

• BERT向量

• 句子向量

第8章：詞向量技術

• 獨熱編碼表示的優(yōu)缺點

• 獨熱編碼與分布式表示的比較

• 靜態(tài)詞向量與動態(tài)詞向量

• 學習詞向量 - 分布式假設

• SkipGram與CBOW

• SkipGram模型的目標

• 負采樣（Negative Sampling）

• 基于矩陣分解的詞向量學習

• 基于Glove的詞向量學習

• 在非歐式空間中的詞向量學習

第9章：【項目作業(yè)】智能客服問答系統(tǒng)

• 問答系統(tǒng)和應用場景

• 問答系統(tǒng)搭建流程

• 文本的向量化表示

• FastText

• 倒排表技術

• 問答系統(tǒng)中的召回、排序

第10章：語言模型

• 語言模型的必要性

• 馬爾科夫假設

• Unigram語言模型

• Bigram、Trigram語言模型

• 語言模型的評估

• 語言模型的平滑技術

第三部分：自然語言處理與深度學習

第11章：深度學習基礎

• 理解神經(jīng)網(wǎng)絡

• 各類常見的激活函數(shù)

• 理解多層神經(jīng)網(wǎng)絡

• 反向傳播算法

• 神經(jīng)網(wǎng)絡中的過擬合

• 淺層模型與深層模型對比

• 深度學習中的層次表示

第12章：Pytorch的使用

• 環(huán)境安裝

• Pytorch與Numpy的語法比較

• Pytorch中的Autograd用法

• Pytorch的Forward函數(shù)

第13章：RNN與LSTM

• 從HMM到RNN模型

• RNN中的梯度問題

• 解決梯度爆炸問題

• 梯度消失與LSTM

• LSTM到GRU

• 雙向LSTM模型

• 基于LSTM的生成

• 練習：利用Pytorch實現(xiàn)RNN/LSTM

第14章：Seq2Seq模型與注意力機制

• Seq2Seq模型

• Greedy Decoding

• Beam Search

• 長依賴所存在的問題

• 注意力機制

• 注意力機制的不同實現(xiàn)

第15章：【項目實戰(zhàn)】京東智能營銷文案生成

• 構建Seq2Seq模型

• Beam Search的改造

• 模型調優(yōu)

• Length Normalization

• Coverage Normalization

• 評估標準 Rouge

• Pointer-Generator Network

• PGN與Seq2Seq的融合

第16章：動態(tài)詞向量與ELMo技術

• 基于上下文的詞向量技術

• 圖像識別中的層次表示

• 文本領域中的層次表示

• 深度BI-LSTM

• ELMo模型簡介及優(yōu)缺點

• ELMo的訓練與測試

第17章：自注意力機制與Transformer

• 基于LSTM模型的缺點

• Transformer結構概覽

• 理解自注意力機制

• 位置信息的編碼

• 理解Encoder與Decoder區(qū)別

• 理解Transformer的訓練和預測

• Transformer的缺點

第18章：BERT與ALBERT

• 自編碼器介紹

• Transformer Encoder

• Masked LM

• BERT模型及其不同訓練方式

• ALBERT

第19章：【項目實戰(zhàn)】京東智能客服系統(tǒng)項目

• 對話系統(tǒng)的分類方法

• 檢索方式與生成方式

• 對話系統(tǒng)架構

• 意圖識別分類器

• 閑聊引擎的搭建

• Transformer與BERT的使用

第20章：GPT與XLNet

• Transformer Encoder回顧

• GPT-1，GPT-2，GPT-3

• ELMo的缺點

• 語言模型下同時考慮上下文

• Permutation LM

• 雙流自注意力機制

• Transformer-XL

第四部分、信息抽取

第21章：命名實體識別與實體消歧

• 信息抽取的應用和關鍵技術

• 命名實體識別

• NER識別常用技術

• 實體消歧技術

• 實體消歧常用技術

• 實體統(tǒng)一技術

• 指代消解

第22章：關系抽取

• 關系抽取的應用

• 基于規(guī)則的方法

• 基于監(jiān)督學習方法

• Bootstrap方法

• Distant Supervision方法

第23章：依存文法分析

• 從語法分析到依存文法分析

• 依存文法分析的應用

• 使用依存文法分析

• 基于圖算法的依存文法分析

• 基于Transtion-based的依存文法分析

• 其他依存文法分析方法論

第24章：知識圖譜

• 知識圖譜以及重要性

• 知識圖譜中的實體和關系

• 利用非結構化數(shù)據(jù)構造知識圖譜

• 知識圖譜的設計

第25章：【項目實戰(zhàn)】京東同類商品競價搜索項目

• Entity Linking介紹

• Entity Linking技術概覽

• 從商品描述、商品標題中抽取關鍵實體

• 搭建商品知識圖譜

• 基于GNN學習商品的詞嵌入

• 商品的ranking以及相似度計算

第五部分：圖神經(jīng)網(wǎng)絡以及其他前沿主題

第26章：模型的壓縮

• 模型壓縮的必要性

• 常見的模型壓縮算法總覽

• 基于矩陣分解的壓縮技術

• 從BERT到ALBERT的壓縮

• 基于貝葉斯模型的壓縮技術

• 模型的量化

• 模型的蒸餾方法

第27章：圖神經(jīng)網(wǎng)絡

• 卷積神經(jīng)網(wǎng)絡的回顧

• 圖神經(jīng)網(wǎng)絡發(fā)展歷程

• 圖卷積神經(jīng)網(wǎng)絡（GCN）

• GAT詳解