基于Python的語料庫數(shù)據(jù)處理（七）

《Python玩轉(zhuǎn)語料庫數(shù)據(jù)》專欄·第7篇

文?| 段洵??

2826字 | 10?分鐘閱讀

【數(shù)據(jù)科學(xué)與人工智能】已開通Python語言社群，學(xué)用Python，玩弄數(shù)據(jù)，求解問題，以創(chuàng)價值。喜樂入群者，請加微信號shushengya360，或掃描文末二維碼，添加為好友，同時附上Python-入群。有朋自遠(yuǎn)方來，不亦樂乎，并誠邀入群，以達(dá)相互學(xué)習(xí)和進(jìn)步之美好心愿。

有時候我們不需要返回全部檢索內(nèi)容,而需要對檢索的內(nèi)容分幾個部分回,這時候就需要用到分組(grouping)。我們可以將需要分開檢索返回的部分用圓括弧括起來。比如,我們需要檢索出'http:/www.hust.edu.cn.'網(wǎng)址,并分開返回網(wǎng)址的'http'、'www'、'hust'、'edu'、'cn'等部分,就需要用到分組。請看下面的代碼。

import?re

web?=?r'The?website?of?HUST?is?http://www.hust.edu.cn.'

matched1?=?re.findall(r'(http)://(www).(\w+).(\w+).(\w+)',?web)
print(matched1)?????????????#?[('http',?'www',?'hust',?'edu',?'cn')]
print(matched1[0][0])???????#?http
print(matched1[0][1])???????#?www

matched2?=?re.search(r'(http)://(www).(\w+).(\w+).(\w+)',?web)
print(matched2.group(0))????#?http://www.hust.edu.cn
print(matched2.group(1))????#?http
print(matched2.group(2))????#?www
print(matched2.group(3))????#?hust
print(matched2.group(4))????#?edu
print(matched2.group(5))????#?cn

從上述代碼可見, re.findall()函數(shù)返回一個列表,該列表只有一個元組元素。而元組由五個元素組成,分別是五個圓括弧分組檢索到的內(nèi)容。如果需要訪問列表內(nèi)容,則可以使用pint(matched1[0][0])等來訪問。

與re.findall()函數(shù)返回列表不同, re.search()返回的內(nèi)容不能直接訪問,而需要通過 group()函數(shù)來訪問。group(0)返回的內(nèi)容是表達(dá)式檢索到的所有內(nèi)容,所以上述代碼中,matched2.group(0)返回的是'http://www.hust.edu.cn'group(1)返回的是第一個分組內(nèi)容,所以 group(1)返回的是'http'; group(2)返回的是第二個分組內(nèi)容,所以 group(2)返回的是'www'；余類推。

前面我們講到,正則表達(dá)式中有些元字符表示特殊的含義,如“.”可以匹配所有字母、數(shù)字、空白和除換行符以外的任意符號;“\”加在一些特殊字母前有特殊含義,如“\w”表示匹配字母或數(shù)字或下劃線;“?”表示零個或一個等。那么,如何搜索匹配這些元字符呢?這里就需要使用元字符的轉(zhuǎn)義(to?escape the metacharacters))。元字符的轉(zhuǎn)義就是在元字符前面加上“\”(反斜線,backslash),以匹配這些元字符。元字符的轉(zhuǎn)義見下表。

假設(shè)有下面的文本。

試編寫代碼完成下面的檢索任務(wù):①如何匹配上述文本中的網(wǎng)址?②如何匹配上述文本中的電子郵件地址?③如何匹配上述文本中的生日信息?請看下面的代碼。

import?re

string?=?'''The?homepage?of?our?department?is?http://fld.hust.edu.cn/.
[email protected].

Name:?Jason
Birthday:?08-12-1988
'''

print(re.findall(r'http://.*?/',?string))????????????#?['http://fld.hust.edu.cn/']
print(re.findall(r'\w+\.\w+@\w+\.\w+',?string))??????#?['[email protected]']
print(re.findall(r'\d{2}\-\d{2}\-\d{4}',?string))????#?['08-12-1988']

假設(shè)有下面的文本。文本中每個單詞后面有斜線(/),斜線(1)后面是單詞的詞性。試編寫代碼完成下面的檢索任務(wù):①如何匹配上述詞性賦碼文本中的所有專有名詞?②如何匹配上述詞性賦碼文本中的所有名詞?③如何匹配上述詞性賦碼文本中的所有動詞?④如何匹配上述詞性賦碼文本中的“冠詞+名詞”詞組?⑤如何匹配上述詞性賦碼文本中的最鄰近的副詞+動詞?⑥如何匹配上述詞性賦碼文本中的所有詞性賦碼?

①仔細(xì)閱讀文本后,我們發(fā)現(xiàn),所有專有名詞的詞性代碼均為/np,所以,檢索的表達(dá)式為r'\w+np'。②所有名詞的詞性代碼均含有/n,所以,檢索的表達(dá)式為r'\w+/n\w+'。③與名詞類似,所有動詞的詞性代碼均含有/v,所以,檢索的表達(dá)式為r'\w+/v\w+'。④冠詞的詞性代碼為/at,由于冠詞與名詞中間可能還有其他單詞,故冠詞與名詞的檢索中間加上.*?。.*?表示任意字符的組合,但檢索的內(nèi)容是“懶惰的”。所以,“冠詞+名詞”詞組的檢索代碼為r'\w+/at.*?\w+/nn\w*'。⑤副詞的詞性代碼含有/rb,所以,最鄰近的副詞+動詞的檢索代碼為'\w+/rb.*?\w+/v\w*'。⑥檢索所有詞性賦碼,也就是檢索所有斜線(/)后面的內(nèi)容。詞性代碼可能是幾個字母的組合(\w+),或者是句點(diǎn)(\.),所以檢索代碼為r'∧w+|∧'。

請看下面的示范代碼。

import?re

string?=?'''The/at?marriage/nn?of/in?John/np?and/cc?Mary/np?Black/np?had/hvd?clearly/rb?reached/vbn?the/at?breaking/vbg?point/nn?after/in?eight/cd?years/nns?./.
'''

print(re.findall(r'\w+/np',?string))????????????????#?['John/np',?'Mary/np',?'Black/np']

print(re.findall(r'\w+/n\w+',?string))??????????????#?['marriage/nn',?'John/np',?'Mary/np',?'Black/np',?'point/nn',?'years/nns']

print(re.findall(r'\w+/v\w+',?string))??????????????#?['reached/vbn',?'breaking/vbg']

print(re.findall(r'\w+/at.*?\w+/nn\w*',?string))????#?['The/at?marriage/nn',?'the/at?breaking/vbg?point/nn']

print(re.findall(r'\w+/rb.*?\w+/v\w*',?string))?????#?['clearly/rb?reached/vbn']

print(re.findall(r'/\w+|/\.',?string))??????????????#?['/at',?'/nn',?'/in',?'/np',?'/cc',?'/np',?'/np',?'/hvd',?'/rb',?'/vbn',?'/at',?'/vbg',?'/nn',?'/in',?'/cd',?'/nns',?'/.']

#?'|'?represents?'or'.?The?above?expression?can?also?be?written?as?'(/\w+)|(/\.)'

文本中有些字符是肉眼不可見的,比如文本每一段的末尾都有我們看不到的換行符或回車符。正則表達(dá)式中用“\n”或“\n\r”表示換行符或回車符。不同的操作系統(tǒng)使用不同的換行符或回車符,如在Mac OS系統(tǒng)和Linux系統(tǒng)中,每行結(jié)尾用“\n”表示換行符或回車符;而在微軟Windows系統(tǒng)中,每行結(jié)尾用“\n\r”表示換行符或回車符。如果需要搜索換行符或回車符,我們可以嘗試使用”\n”或“\n\r”來搜索。另外,我們可以用“\t”來搜索制表符。下表列舉了換行符、回車符、制表符的轉(zhuǎn)義。

推薦閱讀：

基于Python的語料庫數(shù)據(jù)處理（一）

基于Python的語料庫數(shù)據(jù)處理（二）

基于Python的語料庫數(shù)據(jù)處理（三）

基于Python的語料庫數(shù)據(jù)處理（四）

基于Python的語料庫數(shù)據(jù)處理（五）

基于Python的語料庫數(shù)據(jù)處理（六）

? ? ? ? ? ??? ?