基于Python的語料庫數(shù)據(jù)處理（六）

《Python玩轉(zhuǎn)語料庫數(shù)據(jù)》專欄·第6篇

文?| 段洵??

3756字 | 10?分鐘閱讀

【數(shù)據(jù)科學(xué)與人工智能】已開通Python語言社群，學(xué)用Python，玩弄數(shù)據(jù)，求解問題，以創(chuàng)價(jià)值。喜樂入群者，請(qǐng)加微信號(hào)shushengya360，或掃描文末二維碼，添加為好友，同時(shí)附上Python-入群。有朋自遠(yuǎn)方來，不亦樂乎，并誠邀入群，以達(dá)相互學(xué)習(xí)和進(jìn)步之美好心愿。

我們常常需要一次匹配零個(gè)、一個(gè)或多個(gè)字符，因此需要使用一些表示數(shù)量的符號(hào)，下表列出了常用的表示數(shù)量的符號(hào)。

這些表示數(shù)量的符號(hào)不能單獨(dú)使用,必須與其他普通字符或元字符配合使用。例如：b+可以匹配一個(gè)或者連續(xù)多個(gè)b字母；\w+可以匹配一個(gè)或多個(gè)字母或數(shù)字或下劃線；\d*可以匹配零個(gè)或多個(gè)數(shù)字;\s?可以匹配零個(gè)或一個(gè)空白。

我們來看一個(gè)例子。例子文本節(jié)選自 FROWN語料庫。請(qǐng)完成下列檢索匹配任務(wù):①如何檢索文本中所有以-ing結(jié)尾的單詞?②如何檢索文本中所有以th-開頭的單詞?③如何檢索文本中所有數(shù)字或者含有數(shù)字的字符串?④如何檢索諸如 co-author這樣含連字符的單詞?⑤如何檢索所有含兩個(gè)字符的字符串?⑥文本中每行開頭都含有諸如“A0 117”的字符串。如何搜索出文本中所有類似的字符串?

關(guān)于問題①,使用\w*ing\b或者\(yùn)w+ing\b。\w*ing或者\(yùn)w+ing在上述文本中可以搜索所有以ing結(jié)尾的單詞。但是,也可以匹配諸如Washington、 Salinger或 hearings等單詞。\w*ing和\w+ing的不同在于,\w+ing只能匹配“一個(gè)或多個(gè)字符+ing”,而\w*ing可以匹配“ing”或者“一個(gè)或多個(gè)字符+ing”。關(guān)于問題②,使用\bth\w+。關(guān)于問題③,使用\d+可以搜索出所有數(shù)字;\w*\d+\w*可以搜索出所有數(shù)字或者同時(shí)含字母和數(shù)字的字符串,如A01、17、308、114等。需要注意的是\w*\d+\w*不能搜索出“308-14”。如果需要搜索如“308-114”或“2-kilo”等同時(shí)含字母、數(shù)字和連字符“-”的字符串,則需使用表達(dá)式\w+-\w+。關(guān)于問題④,使用\w+-\w+。關(guān)于問題⑤,使用\b\w\w\b。關(guān)于問題⑥,使用A\d+\s+\d+\s。

請(qǐng)看如下代碼。

import?re

string?=?'''
A01??17?The?bill?was?immediately?sent?to?the?House,?which?voted?308-114?
A01??18?for?the?override,?26?more?than?needed.?A?cheer?went?up?as?the?House?
A01??19?vote?was?tallied,?ending?Bush's?string?of?successful?vetoes?at?
A01??20?35.

A01??21?Among?those?voting?to?override?in?the?Senate?was?Democratic?
A01??22?vice?presidential?nominee?Al?Gore,?a?co-author?of?the?bill.?He?then?
A01??23?left?the?chamber?to?join?Democratic?presidential?nominee?Bill?
A01??24?Clinton?on?'Larry?King?Live'?on?CNN.

'''

print(re.findall(r'\w*ing\b',?string))??????#?['ending',?'string',?'voting',?'King']

print(re.findall(r'\bth\w+',?string))???????#?['the',?'the',?'than',?'the',?'those',?'the',?'the',?'then',?'the']

print(re.findall(r'\w*\d+\w*',?string))?????#?['A01',?'17',?'308',?'114',?'A01',?'18',?'26',?'A01',?'19',?'A01',?'20',?'35',?'A01',?'21',?'A01',?'22',?'A01',?'23',?'A01',?'24']

print(re.findall(r'\w+-\w+',?string))???????#?['308-114',?'co-author']

print(re.findall(r'\b\w\w\b',?string))??????#?['17',?'p_',?'to',?'18',?'26',?'up',?'as',?'19',?'of',?'at',?'20',?'35',?'21',?'p_',?'to',?'in',?'22',?'Al',?'co',?'of',?'He',?'23',?'to',?'24',?'on',?'on']

print(re.findall(r'A\d+\s+\d+\s',?string))??#?['A01??17?',?'A01??18?',?'A01??19?',?'A01??20?',?'A01??21?',?'A01??22?',?'A01??23?',?'A01??24?']

所有的字母、數(shù)字、沒有特殊意義的符號(hào)(如下劃線等)都是普通字符

1.{}的用法

{}中添加數(shù)字,跟在普通字符或者元字符后面,也可以表示數(shù)量。比如,r{2}可以匹配“rr”;r{2,}可以匹配連續(xù)2次或更多次出現(xiàn)的r字母,如“rr”或者“rrrr”等;r{0,3}可以匹配出現(xiàn)0次或者1次或連續(xù)出現(xiàn)2次或3次的r字母。因此,我們前面所述的\d*等同于\d{0,}；\d+等同于\d(1,}；\d?等同于\d{0,1}。

2.[]的用法

[]中加入普通字符表示可以匹配其中任意字符。比如,[abcd]可以匹配a或b或c或d。而[abd]+則可匹配由abcd四個(gè)字母任意組合的字符串,如“adc“add”“abdc”“ bcdaadbc”等。[abcd]等同于[abcd]{1},而[abcd]+等同于[abcd]{1,}。另外,[a-z]表示從a到z所有字母中的任意一個(gè),[0-9]表示所有數(shù)字中的任意一個(gè)。

3.()的用法

如果需要重復(fù)多次某個(gè)表達(dá)式,可以用()將表達(dá)式括起來,然后再在后面加表示數(shù)量的表達(dá)式。如果要匹配諸如“abc98cdef54r45gsdh56539”這樣重復(fù)多次的“字母+數(shù)字”組合的字符串,我們可以用([a-z]+[0-9]+)+來匹配,括弧后面的“+”表示重復(fù)([a-z]+[0-9]+)組合一次或者多次(當(dāng)然,可以簡單地用\w+來匹配)。假設(shè)我們只希望匹配重復(fù)2次或3次的“字母+數(shù)字”組合,則需要用([a-z]+[0-9]+){2,3}來匹配。

我們來看一個(gè)例子。假設(shè)有如下字符串,完成下列檢索任務(wù):①字符串的人名中,哪些由3個(gè)或4個(gè)字母組成?②字符串的人名中,哪些由6個(gè)或以上字母組成?③字符串的人名中,哪些由以J字母開頭且以a字母結(jié)尾?④字符串的人名中,哪些由以J字母開頭、以a字母結(jié)尾且字母數(shù)大于5?⑤字符串的人名中,哪些由以J、K、L、M字母開頭且字母數(shù)大于或等于5?

import?re

string?=?'''
Mary??Michael??Susan??Larry??Christina
Elizabeth???Juliana???Julia???Leo??Jane
Jason??Johansson??John???Bill??Katherine
'''

print(re.findall(r'\b\w{3,4}\b',?string))?????????#?['Mary',?'Leo',?'Jane',?'John',?'Bill']

print(re.findall(r'\b\w{6,}\b',?string))??????????#?['Michael',?'Christina',?'Elizabeth',?'Juliana',?'Johansson',?'Katherine']

print(re.findall(r'\bJ\w*a\b',?string))???????????#?['Juliana',?'Julia']

print(re.findall(r'\bJ\w{5,}a\b',?string))????????#?['Juliana']

print(re.findall(r'\b[JKLM]\w{4,}\b',?string))????#?['Michael',?'Larry',?'Juliana',?'Julia',?'Jason',?'Johansson',?'Katherine']

前面我們講到“*”表示零個(gè)或多個(gè),“+”表示一個(gè)或多個(gè)。由于“*”和“+”可以匹配多個(gè)字符,它們會(huì)盡可能多地匹配字符,所以它們被稱作“貪婪數(shù)量符( greedy quantifiers)”。

請(qǐng)看下面的范例。我們對(duì)字符串進(jìn)行兩次搜索。第一次匹配, re.findall(r'.+',string)將返回由一個(gè)元素(即整個(gè)字符串)構(gòu)成的列表。第二次匹配re.findall(r'.*', string)將返回：["The bill was immediately sent to the House,which voted 308-114 for the override, 26 more than needed. A cheer went up as the?House vote was tallied, ending Bush's string of successful vetoes at 35.

","]。返回結(jié)果是由兩個(gè)元素構(gòu)成的列表,第一個(gè)元素是整個(gè)字符串,第二個(gè)元素由一個(gè)零字符構(gòu)成。

兩次搜索結(jié)果不同的原因在于,“+”表示一個(gè)或多個(gè),在第一次匹配到字符串的最后一個(gè)字符“>”后,搜索過程即完成;而“*”表示零個(gè)或多個(gè),在第一次匹配到字符串的最后一個(gè)字符“>”后,再進(jìn)行第二次檢索,檢索結(jié)果為零個(gè)字符,也匹配成功,所以第二次檢索多了一個(gè)零字符。

兩次檢索的結(jié)果都說明,無論是“+”還是“*”,都是“貪婪的”,它們都盡可能多地匹配字符。

import?re

string?=?"The?bill?was?immediately?sent?to?the?House,?which?voted?308-114?for?the?override,?26?more?than?needed.?A?cheer?went?up?as?the?House?vote?was?tallied,?ending?Bush's?string?of?successful?vetoes?at?35.
"

print(re.findall(r'.+',?string))
print(re.findall(r'.*',?string))

又如,\d+將匹配文本中的308、114、26、35等數(shù)字,其原因在于“+”是貪婪( greedy)的,所以d+會(huì)匹配所有連續(xù)數(shù)字。那么,如果我們匹配所有數(shù)值,但需要每次只匹配一個(gè)數(shù)字字符,就需要使用'?'。

與'*'和'+'相反,"是“懶惰數(shù)量符(lazy quantifier)”,它匹配盡可能少的相應(yīng)字符。所以\d+?將匹配文本中的所有數(shù)值,但每次只匹配一個(gè)由連續(xù)數(shù)值字符組成的數(shù)值。

我們來看下面的例子。讀者可以比較使用'<.*>'和'<.*?>'兩個(gè)表達(dá)式搜索下面文本的異同。

import?re

string?=?'''The?bill?was?immediately?sent?to?the?House,?which?voted?308-114?for?the?override,?26?more?than?needed.?A?cheer?went?up?as?the?House?vote?was?tallied,?ending?Bush's?string?of?successful?vetoes?at?35.
'''

print(re.findall(r'<.*>',?string))
#?["The?bill?was?immediately?sent?to?the?House,?which?voted?308-114?for?the?override,?26?more?than?needed.?A?cheer?went?up?as?the?House?vote?was?tallied,?ending?Bush's?string?of?successful?vetoes?at?35.
"]

print(re.findall(r'<.*?>',?string))
#?['',?'
']

<.*>將匹配所有文本內(nèi)容。由于“.*”是“貪婪的”,所以<.*>的搜索方式是,先搜索文本中的第一個(gè)“<”,然后搜索文本最后一個(gè)“>”,最后匹配文本第一個(gè)“<”與文本最后一個(gè)“>”之間的所有內(nèi)容。

<.*?>將匹配和

。由于“.*?”是“懶惰的”,所以<.*?>的搜索方式是,先搜索文本中的第一個(gè)“<”,然后搜索文本中下一個(gè)出現(xiàn)的“>”,最后匹配文本第一個(gè)“<”與下一個(gè)“>”之間的所有內(nèi)容。

推薦閱讀：

基于Python的語料庫數(shù)據(jù)處理（一）

基于Python的語料庫數(shù)據(jù)處理（二）

基于Python的語料庫數(shù)據(jù)處理（三）

基于Python的語料庫數(shù)據(jù)處理（四）

基于Python的語料庫數(shù)據(jù)處理（五）

? ? ? ? ? ??? ?