自然語言處理NLP技術(shù)愛好者，別錯過
項目背景：
近些年，伴隨著抖音的崛起，短視頻在內(nèi)容傳播方面發(fā)展得如火如荼，但即便如此，文本內(nèi)容的形式仍然占據(jù)重要地位。
而文本內(nèi)容的傳播最重要的一點就是信息的準確性，尤其是一些有著巨大用戶群體的流量平臺更加注重內(nèi)容文本的審核，由此，文本自動糾錯審核技術(shù)便發(fā)揮著不可替代的作用。
文本糾錯支持短文本、長文本、語音識別結(jié)果等多種文本內(nèi)容，在搜索引擎、人機對話、語音識別、內(nèi)容審核等方面有廣泛的應用，能顯著提高這些場景下的語義準確性和用戶體驗。
應用場景：
文本自動糾錯技術(shù)在文學創(chuàng)作、搜索引擎、人機對話、語音識別、內(nèi)容審核等方面有廣泛的應用，比如：
作文批改：檢查并糾正作文中的拼寫問題，大幅度減輕教師壓力
寫作輔助：在內(nèi)容寫作平臺上內(nèi)嵌糾錯模塊，可在作者寫作時自動檢查并提示錯別字情況
新聞媒體：輔助媒體、出版社進行文本編輯、校對工作，有效避免常見錯誤
公文糾錯：針對公文寫作場景，提供字詞、專有名詞的檢查與糾錯，輔助進行公文審閱校對
搜索糾錯：用戶經(jīng)常在搜索時輸入錯誤，通過分析搜索query的形式和特征，可自動糾正搜索query并提示用戶
asr糾錯：將文本糾錯嵌入對話系統(tǒng)中，可自動修正語音識別轉(zhuǎn)文本過程中的錯別字，向?qū)υ捓斫庀到y(tǒng)傳遞糾錯后的正確query
課程目標：
1.掌握企業(yè)內(nèi)部算法工程師建模的全流程，包括業(yè)務分析、數(shù)據(jù)處理、問題拆解、模型訓練、推理優(yōu)化和線上部署等環(huán)節(jié)
2.掌握課程中成分抽取、文本語義建模、語義向量檢索和csc文本糾錯等每個子任務的建模技術(shù)
3.掌握模型優(yōu)化的一些常見trick，以及一些推理加速的框架和技術(shù)
核心技術(shù)點：
Bert mlm預訓練技術(shù)、自定義masking策略、多卡分布式訓練
Bert+span雙指針網(wǎng)絡、對抗訓練fgm和pgd的實現(xiàn)
simcse語義相似度建模、faiss語義向量檢索
MacBert4csc糾錯技術(shù)、混合精度訓練AMP技術(shù)
onnxruntime和tensorrt等常見模型加速技術(shù)
Flask/Fastapi等web部署框架技術(shù)
課程安排：
本項目適用于通用領(lǐng)域csc文本糾錯和任何垂直領(lǐng)域的專有名詞糾錯，項目拆解可以分為三個子任務，分別為成分抽取任務、語義建模和檢索任務、csc文本糾錯任務，其中，每一個子任務都可以作為獨立的nlp項目，課程講解按照上述三個任務的順序依次推進，最后會依次串起來，構(gòu)建完整的糾錯服務系統(tǒng)
部分項目樣圖：
MacBERT4CSC文本糾錯模型結(jié)構(gòu)：
本模型是MacBERT改變網(wǎng)絡結(jié)構(gòu)的中文文本糾錯模型，可支持BERT類模型為backbone
在原生BERT模型上進行了魔改，追加了一個全連接層作為錯誤檢測即detection，MacBERT4CSC訓練時用detection層和correction層的loss加權(quán)得到最終的loss，預測時用BERT MLM的correction權(quán)重即可
