NLP社招面經(jīng)分享！
作者 | 年年的鏟屎官 整理 | NewBeeNLP https://zhuanlan.zhihu.com/p/546364420
背景介紹
知乎上有個(gè)問題是有哪些行為堪比「1949年加入國民黨」？[1], 那么我覺得我選擇在2022年跳槽也算是一種吧[捂臉]。
2022年大環(huán)境不太好，整體hc(head count)比2021年少了很多 ，回想2021年，各個(gè)候選人所到之處，各家大廠中廠竭誠歡迎，hc充足，大家挑花了眼，那種生機(jī)勃勃，萬物競發(fā)的景象猶在眼前，沒想到短短一年之后，居然情況急轉(zhuǎn)直下。
情況介紹：我主要做nlp，也涉及到多模態(tài)和強(qiáng)化學(xué)習(xí)的東西。2022年的大環(huán)境比較差，能投的公司不是很多，比如騰訊，主要還是高級(jí)別的，所以騰訊我就沒投（說得好像我投了能面過一樣...）
面了的公司包括 小紅書，抖音，寒武紀(jì)，螞蟻 ，還有一些 國企和研究院 ，比如北京智源人工智能研究院，某國內(nèi)金融公司，其他的用來練手也面了一些，比如 蔚來汽車，吉利汽車，華人運(yùn)通，boss直拒 ，還有一些元宇宙公司，AI制藥公司之類的，拿到了其中大部分offer，當(dāng)然我自己也遇到一些拉胯情況，比如小紅書二面掛[笑哭]
面試總結(jié)
這一個(gè)多月面下來，總體面試考察主要包括下面幾個(gè)模塊： 代碼題+項(xiàng)目細(xì)節(jié)+八股文+場景題 ，其中：
代碼
代碼題，寫不出來大概率還是要跪的，我覺得刷200道左右一般就問題不大。200道爭取達(dá)到肌肉記憶，就是給出你題目你要10s之內(nèi)給出思路，哪怕沒有bug free，但是一定要保證有思路。
有一點(diǎn)要注意， 200道高頻題刷2遍，好過400道題目刷一遍，重點(diǎn)還是刷高頻題 。另外推薦的 刷題地址 ，里面可以選擇公司和標(biāo)簽：
https://codetop.cc/home
項(xiàng)目
項(xiàng)目細(xì)節(jié)我的感觸最深，有些面試官會(huì)問的很細(xì)，在不斷的試探我們的邊界，所以項(xiàng)目細(xì)節(jié)還是要準(zhǔn)備到位。通過這段時(shí)間的面試我反而對(duì)項(xiàng)目的理解更深刻，不知道這算不算面試給我?guī)淼氖找妫?/span>
這里有一個(gè) 提高通過率的小trick ：可以和1個(gè)或者多個(gè) 靠譜 小伙伴一起， 讓大家看對(duì)方的簡歷，假設(shè)自己是面試官，然后針對(duì)項(xiàng)目出一些題目 ，這樣一來可以查漏補(bǔ)缺，有點(diǎn)co-teaching的感覺，這個(gè)方法還是挺管用的，大家可以試試~
八股文
八股文的話主要 圍繞項(xiàng)目出題 ，比如你做了強(qiáng)化學(xué)習(xí)的東西，那么常見的reinforce，actor-critic，on policy和off policy的區(qū)別，一定要掌握。
比如你項(xiàng)目用到了swin-transformer，那么swin-transformer和傳統(tǒng)的transformer的區(qū)別是什么，patch merging怎么做的，要清楚。
場景題
場景題可能是大廠喜歡考察，小廠不一定問。
面經(jīng)
廢話不多說，面經(jīng)奉上：
小紅書
小紅書一面：
聊項(xiàng)目
你們的訓(xùn)練集和驗(yàn)證集，測試集分別是多少？怎么來的？
宏平均和微平均是用來干什么的？是如何計(jì)算的？他倆的主要區(qū)別？
知識(shí)蒸餾為什么有效，詳細(xì)介紹一下知識(shí)蒸餾？
強(qiáng)化學(xué)習(xí)適合在哪些場景使用？
智力題：如何用rand6實(shí)現(xiàn)rand10
代碼題：lc 76，最小覆蓋子串
小紅書二面：
聊項(xiàng)目
layer normalization的好處是？和batch normalization的區(qū)別？你有沒有看過有的transformer也用bn？
BERT的主要改進(jìn)，包括結(jié)構(gòu)的改進(jìn)，預(yù)訓(xùn)練方式的改進(jìn)，都說一下？（這里能說的很多，挑自己熟悉的說就行）
Reformer中，LSH（局部敏感哈希）是如何實(shí)現(xiàn)的？
CRF和HMM的區(qū)別，哪個(gè)假設(shè)更強(qiáng)？他們的解碼問題用什么算法？
lstm參數(shù)量計(jì)算，給出emb_size和hidden_size，求lstm參數(shù)量
cv中有哪些常見的數(shù)據(jù)增強(qiáng)方式
簡單實(shí)現(xiàn)一個(gè)layer normalization類，只需要實(shí)現(xiàn)__init__和forward就行
總結(jié)：這一面壓力不小，而且面試官從一開始就多次打斷我的說話，說我目前做的項(xiàng)目沒意義，而且表情好像不耐煩，不知道是不是晚上面試耽誤他下班了。這是我體驗(yàn)最差的一場面試，當(dāng)時(shí)我有點(diǎn)想和他懟起來，但是想想還是忍住了，最后掛了也是意料之中
抖音
抖音一面
聊項(xiàng)目
AUC的兩種公式是？你能證明這兩種等價(jià)的嗎？
BERT-CRF中，為什么要加CRF？好處是？
self-attention為什么要用QKV三個(gè)矩陣，不用有什么問題？有沒有哪個(gè)模型的Q和K矩陣是一樣的？
reinforce屬于on-policy還是off-policy？為什么？
reinforce帶上baseline好處是？reinforce的loss寫一下？
策略梯度會(huì)推導(dǎo)嗎？簡單寫一下？
代碼題（代碼題一般別著急寫，先跟面試官說下思路，確定了再寫）：
lc 46，全排列（lc表示leetcode，下同）
lc 73，矩陣置0
總結(jié)：這一面我以為面試官只會(huì)問多模態(tài)，不會(huì)問強(qiáng)化學(xué)習(xí)，沒想到這個(gè)面試官好厲害，強(qiáng)化學(xué)習(xí)也很懂，真的很強(qiáng)啊，我比較好奇，他們哪里來那么多時(shí)間看那么多領(lǐng)域的東西
抖音二面
介紹項(xiàng)目
知識(shí)蒸餾有哪幾種？你覺得哪種效果最好？
nlp的數(shù)據(jù)增強(qiáng)方法，主要有哪幾種？每一種舉個(gè)例子？
分類的損失函數(shù)為什么是交叉熵而不是mse？
BERT對(duì)輸入文本的長度有什么限制，為什么要限制長度呢？
BigBird里面有哪幾種注意力機(jī)制？相比原始transformer的self-attention的優(yōu)勢？
場景題：如何根據(jù)拼多多的商品數(shù)量，估計(jì)淘寶的商品數(shù)量？
給出emb_size, max_len, vocab_size, ff_inner_size，num_heads, 12層，求BERT參數(shù)量
代碼題：n皇后問題
總結(jié)：給我來了一道hard題目，我以為我要掛了，結(jié)果沒幾分鐘HR告訴我過了
抖音三面
簡單聊項(xiàng)目
CRF和HMM區(qū)別？CRF為什么比HMM效果好？
如果BERT詞表很大，比如vocab_size達(dá)到幾百萬，怎么辦？
快速手寫一些transformer的mha（多頭注意力），偽代碼意思一下就行
為什么對(duì)比學(xué)習(xí)中，temperature很小，而知識(shí)蒸餾的temperature比較大？
你覺得在抖音買東西，和淘寶、拼多多他們的區(qū)別是？（我沒在抖音買過，就只能現(xiàn)場編。。）
你最近看到過哪些paper？簡單介紹下？
你覺得自己有那些優(yōu)缺點(diǎn)？平時(shí)喜歡怎么緩解壓力？
總結(jié)：這一面的面試官很和藹，一直笑呵呵的，后面就是閑聊了，體驗(yàn)很不錯(cuò)
螞蟻
螞蟻一面：
聊項(xiàng)目
多模態(tài)的預(yù)訓(xùn)練方式你知道哪些，知道的都說一下？
coca和CLIP的區(qū)別？為什么coca效果比CLIP好？
CLIP預(yù)訓(xùn)練的時(shí)候，batch size達(dá)到了32768，他用到了哪些trick去提高batch size？
CRF的loss寫一下，CRF打破了HMM的哪個(gè)假設(shè)？
對(duì)比學(xué)習(xí)為什么有效？cv和nlp的經(jīng)典的對(duì)比學(xué)習(xí)的模型說一下？
多頭注意力的頭的數(shù)量，對(duì)參數(shù)量有影響嗎？為什么？
transformer里面為什么要加add&norm模塊？好處是什么？
代碼：
簡單實(shí)現(xiàn)一個(gè)transformer-encoder-layer，要求pre-norm和post-norm可選
編輯距離
這和我想的螞蟻的面試不太一樣，我以為螞蟻的代碼題會(huì)容易一些呢，之前看到的面經(jīng)，螞蟻的代碼題一般以medium為主
螞蟻二面：
聊項(xiàng)目
衡量對(duì)比學(xué)習(xí)的兩個(gè)指標(biāo)是哪些？公式？
transformer相比lstm的優(yōu)勢有哪些？
distillBERT， tinyBERT， mobileBERT和miniLM，他們是如何對(duì)BERT蒸餾的？
ViT是如何對(duì)圖片進(jìn)行處理的？為什么要加position embedding？
說到position embedding，transformer一定要加position embedding么？有些模型沒有加pe，你知道嗎？
beam search的思想，偽代碼實(shí)現(xiàn)
代碼題：lc 33，排序數(shù)組的搜索
螞蟻三面：
聊項(xiàng)目
多頭注意力，給出序列長度n和hidden_size，那么多頭注意力的時(shí)間復(fù)雜度是多少？
ALBert相比BERT的改進(jìn)，說一下？
BERT預(yù)訓(xùn)練有哪些問題？后面的模型怎么改進(jìn)的？重點(diǎn)說說ELECTRA和MacBERT
有沒有了解過，有的模型用生成的方式做信息抽??？
講一下UIE模型是怎么做信息抽取的？其中的SSI和SEL說一下？
你老家哪里的？有哪些興趣愛好？
你覺得自己優(yōu)缺點(diǎn)有哪些？
我們走個(gè)流程，來一道代碼題把，lc 207，課程表
寒武紀(jì)
寒武紀(jì)一面：
聊項(xiàng)目
你知道哪些對(duì)比學(xué)習(xí)的方法？cv和nlp都說一下
simCLR和moco區(qū)別？moco里面加k_encoder的作用？
moco v2, moco v3相對(duì)moco的改進(jìn)有哪些？
resnet為什么效果好？殘差連接的好處？
pytorch中，dataloader dataset和sampler的關(guān)系？
動(dòng)態(tài)圖和靜態(tài)圖區(qū)別？
蒸餾，量化和剪枝的原理大致說一下？
寒武紀(jì)二面：
聊項(xiàng)目
簡單介紹一些CRF的好處，CRF條件概率的公式寫一下
transformer相比lstm的優(yōu)勢有哪些？
transformer優(yōu)點(diǎn)那么多，是不是可以淘汰lstm了，以后全用transformer？
swin-transformer和ViT的區(qū)別？數(shù)據(jù)量少的時(shí)候，他們和ResNet比，哪個(gè)效果好？為什么？
寒武紀(jì)做什么你知道嗎？分布式訓(xùn)練用過嗎？
pytorch的ddp和dp區(qū)別是什么？
你對(duì)混合精度的了解多嗎？說一下混合精度的原理？
面試感受
高密度的面試挺累的，所以我建議 分階段面試 ：前期面試一些練手的小公司，同時(shí)這些小公司也不能太水，不然達(dá)不到練手的效果，然后比如隔一周時(shí)間稍微總結(jié)下，接下來正式面試自己的dream company 結(jié)對(duì)跳槽 是個(gè)不錯(cuò)的選擇，這次跳槽我和朋友一起跳，相互給對(duì)方出題，相互吐槽自己遇到的奇葩面試官，比自己一個(gè)人跳槽有趣的多。這次面試的復(fù)習(xí)過程也得到了很多大佬的幫助，比如 @Notic、@顧逸、@還我漂漂拳、@馬東什么 給了我很多指點(diǎn)和建議，沒有他們的幫助我估計(jì)面試通過率下降一半，所以內(nèi)心真的特別感謝~
3，針對(duì)有些大廠，流程可能有些長，建議速戰(zhàn)速?zèng)Q（比如約面試時(shí)間，如果準(zhǔn)備好了，那面試安排的越早越好），不然拖得太久了可能被流程里面更match或者更優(yōu)秀的候選人擠掉
如何對(duì)待面經(jīng)：
現(xiàn)在市面上面經(jīng)很多，我的感受是要有的放矢，避免對(duì)面經(jīng)的過擬合，比如我之前也看了很多學(xué)長學(xué)姐的面經(jīng)，里面很多傳統(tǒng)機(jī)器學(xué)習(xí)的問題，比如GBDT，xgboost之類的，我這次面試，也花了不少時(shí)間準(zhǔn)備了一些相關(guān)內(nèi)容，然而面試的時(shí)候，GBDT，xgboost之類的壓根就沒遇到，白白準(zhǔn)備了半天。
究其原因，一個(gè)是因?yàn)樗麄兊暮啔v有相關(guān)內(nèi)容，所以面試官會(huì)問，第二個(gè)原因也可能是大家遇到的公司類型不一樣，有的喜歡順帶考察一些機(jī)器學(xué)習(xí)的內(nèi)容。所以大家如果時(shí)間緊張，那看面經(jīng)的時(shí)候，發(fā)現(xiàn)面經(jīng)里面很多問題不會(huì)，不用太過擔(dān)心，把項(xiàng)目相關(guān)的基礎(chǔ)知識(shí)+常見八股搞懂就可以了。當(dāng)然了如果你還是不放心，或者你要面試的部門可能考察，那可以花幾天準(zhǔn)備下。
END
分享
收藏
點(diǎn)贊
在看
