基于Python的語料庫數(shù)據(jù)處理（一）

《Python玩語料庫數(shù)據(jù)》專欄·第1篇

文?| 段洵??

1032字 | 5?分鐘閱讀

【數(shù)據(jù)科學(xué)與人工智能】已開通Python語言社群，學(xué)用Python，玩弄數(shù)據(jù)，求解問題，以創(chuàng)價值。喜樂入群者，請加微信號shushengya360，或掃描文末二維碼，添加為好友，同時附上Python-入群。有朋自遠(yuǎn)方來，不亦樂乎，并誠邀入群，以達(dá)相互學(xué)習(xí)和進(jìn)步之美好心愿。

二元組（Bigram）指的是字符串中兩個相鄰的單詞組合。比如在字符串“I love Python programming”中有“I love”、“l(fā)ove Python”、“Python programming”三個二元組。我們可以通過計算二元組的共信息值來判斷該二元組內(nèi)的兩個單詞的共現(xiàn)是否具有顯著意義。二元組共信息值得計算公式如下：

其中f(x)為x詞在語料庫中出現(xiàn)的頻次，f(y)為y詞在語料庫中出現(xiàn)的頻次，f(x,y)為(x,y)在語料庫中共現(xiàn)的頻次，N為語料庫的庫容。

接下來舉一個例子加深理解：假設(shè)二元組（there，are）在某庫容為1000000詞的語料庫中共現(xiàn)的頻次為335，there在該語料庫中的頻次為2844，are在該語料庫中出現(xiàn)的頻次為4393，試計算二元組（there，are）的共信息值。

通過計算，共信息值約為4.74，說明共現(xiàn)意義顯著。

除了計算共信息值以外，還可以通過計算T值來判斷該二元組內(nèi)兩個單詞的共現(xiàn)是否具有顯著意義。二元組T值計算公式為：

其中f(x)為x詞在語料庫中出現(xiàn)的頻次，f(y)為y詞在語料庫中出現(xiàn)的頻次，f(x,y)為(x,y)在語料庫中共現(xiàn)的頻次，N為語料庫的庫容。

以上一二元組為例加深理解：假設(shè)二元組（there，are）在某庫容為1000000詞的語料庫中共現(xiàn)的頻次為335，there在該語料庫中的頻次為2844，are在該語料庫中出現(xiàn)的頻次為4393，試計算二元組（there，are）的共信息值。

通過計算，T約為17.62，說明共現(xiàn)意義顯著。

接下來我們來練習(xí)觀測頻次（observed frequency）與相對頻次（relative frequency）或標(biāo)準(zhǔn)化頻次（normalized frequency）的轉(zhuǎn)換。假設(shè)某單詞x在某語料庫中出現(xiàn)了1538次，那么1538就是該單詞在語料庫中的觀測頻次。在匯報數(shù)據(jù)時，通常匯報觀測頻次，但相對頻次或標(biāo)準(zhǔn)化頻次也可匯報，即某單詞在語料庫中每1000詞次或10000詞次出現(xiàn)的頻次。假設(shè)某語料庫的庫容為2156586詞，求單詞x的相對頻次或標(biāo)準(zhǔn)化頻次。

通過計算，每1000詞次中x的相對頻次或標(biāo)準(zhǔn)化頻次約為0.71，每10000詞次中x的相對頻次或標(biāo)準(zhǔn)化頻次約為7.13。

這是基于Python的語料庫數(shù)據(jù)處理專欄的第一期，以后也會定期更新。有在研究語料庫的朋友可以一起來學(xué)習(xí)，使用Python進(jìn)行語料庫數(shù)據(jù)處理會更方便、更快捷。