golang goquery selector(選擇器) 示例大全
最近研究Go爬蟲相關(guān)的知識(shí)，使用到goquery這個(gè)庫(kù)比較多，尤其是對(duì)爬取到的HTML進(jìn)行選擇和查找匹配的內(nèi)容時(shí)，goquery的選擇器使用尤其多，而且還有很多不常用但又很有用的選擇器，這里總結(jié)下，以供參考。
如果大家以前做過前端開發(fā)，對(duì)jquery不會(huì)陌生，goquery類似jquery，它是jquery的go版本實(shí)現(xiàn)。使用它，可以很方便的對(duì)HTML進(jìn)行處理。
基于HTML Element 元素的選擇器
這個(gè)比較簡(jiǎn)單，就是基于a,p等這些HTML的基本元素進(jìn)行選擇，這種直接使用Element名稱作為選擇器即可。比如dom.Find("div")。
func main() {
? ?html := `
? ? ? ? ? ? ? ?DIV1
? ? ? ? ? ? ? ?DIV2
? ? ? ? ? ? ? ?SPAN
? ? ? ? ? ?
? ? ? ? ? ?`
? ?dom,err:=goquery.NewDocumentFromReader(strings.NewReader(html))
? ?if err!=nil{
? ? ? ?log.Fatalln(err)
? ?}
? ?dom.Find("div").Each(func(i int, selection *goquery.Selection) {
? ? ? ?fmt.Println(selection.Text())
? ?})
}
以上示例，可以把div元素篩選出來，而body,span并不會(huì)被篩選。
ID 選擇器
這個(gè)是使用頻次最多的，類似于上面的例子，有兩個(gè)div元素，其實(shí)我們只需要其中的一個(gè)，那么我們只需要給這個(gè)標(biāo)記一個(gè)唯一的id即可，這樣我們就可以使用id選擇器，精確定位了。
func main() {
? ?html := `
? ? ? ? ? ? ? ?DIV1
? ? ? ? ? ? ? ?DIV2
? ? ? ? ? ? ? ?SPAN
? ? ? ? ? ?
? ? ? ? ? ?`
? ?dom,err:=goquery.NewDocumentFromReader(strings.NewReader(html))
? ?if err!=nil{
? ? ? ?log.Fatalln(err)
? ?}
? ?dom.Find("#div1").Each(func(i int, selection *goquery.Selection) {
? ? ? ?fmt.Println(selection.Text())
? ?})
}
Element ID 選擇器
id選擇器以#開頭，緊跟著元素id的值，使用語(yǔ)法為dom.Find(#id),后面的例子我會(huì)簡(jiǎn)寫為Find(#id),大家知道這是代表goquery選擇器的即可。
如果有相同的ID，但是它們又分別屬于不同的HTML元素怎么辦？有好辦法，和Element結(jié)合起來。比如我們篩選元素為div,并且id是div1的元素，就可以使用Find(div#div1)這樣的篩選器進(jìn)行篩選。
所以這類篩選器的語(yǔ)法為Find(element#id)，這是常用的組合方法，比如后面講的過濾器也可以采用這種方式組合使用。
Class選擇器
class也是HTML中常用的屬性，我們可以通過class選擇器來快速的篩選需要的HTML元素，它的用法和ID選擇器類似，為Find(".class")。
func main() {
? ?html := `
? ? ? ? ? ? ? ?DIV1
? ? ? ? ? ? ? ?DIV2
? ? ? ? ? ? ? ?SPAN
? ? ? ? ? ?
? ? ? ? ? ?`
? ?dom,err:=goquery.NewDocumentFromReader(strings.NewReader(html))
? ?if err!=nil{
? ? ? ?log.Fatalln(err)
? ?}
? ?dom.Find(".name").Each(func(i int, selection *goquery.Selection) {
? ? ? ?fmt.Println(selection.Text())
? ?})
}
以上示例中，就篩選出來class為name的這個(gè)div元素。
Element Class 選擇器
class選擇器和id選擇器一樣，也可以結(jié)合著HTML元素使用，他們的語(yǔ)法也類似Find(element.class)，這樣就可以篩選特定element、并且指定class的元素。
屬性選擇器
一個(gè)HTML元素都有自己的屬性以及屬性值，所以我們也可以通過屬性和值篩選元素。
func main() {
? ?html := `
? ? ? ? ? ? ? ?DIV1
? ? ? ? ? ? ? ?DIV2
? ? ? ? ? ? ? ?SPAN
? ? ? ? ? ?
? ? ? ? ? ?`
? ?dom,err:=goquery.NewDocumentFromReader(strings.NewReader(html))
? ?if err!=nil{
? ? ? ?log.Fatalln(err)
? ?}
? ?dom.Find("div[class]").Each(func(i int, selection *goquery.Selection) {
? ? ? ?fmt.Println(selection.Text())
? ?})
}
示例中我們通過div[class]這個(gè)選擇器，篩選出Element為div并且有class這個(gè)屬性的，所以第一個(gè)div沒有被篩選到。
剛剛上面這個(gè)示例是采用是否存在某個(gè)屬性為篩選器，同理，我們可以篩選出屬性為某個(gè)值的元素。
? ?dom.Find("div[class=name]").Each(func(i int, selection *goquery.Selection) {
? ? ? ?fmt.Println(selection.Text())
? ?})
這樣我們就可以篩選出class這個(gè)屬性值為name的div元素。
當(dāng)然我們這里以class屬性為例，還可以用其他屬性，比如href等很多，自定義屬性也是可以的。
除了完全相等，還有其他匹配方式，使用方式類似，這里統(tǒng)一列舉下，不再舉例
| 選擇器 | 說明 |
|---|---|
| Find("div[lang]") | 篩選含有l(wèi)ang屬性的div元素 |
| Find("div[lang=zh]") | 篩選lang屬性為zh的div元素 |
| Find("div[lang!=zh]") | 篩選lang屬性不等于zh的div元素 |
| Find("div[lang|=zh]") | 篩選lang屬性為zh或者zh-開頭的div元素 |
| Find("div[lang*=zh]") | 篩選lang屬性包含zh這個(gè)字符串的div元素 |
| Find("div[lang~=zh]") | 篩選lang屬性包含zh這個(gè)單詞的div元素，單詞以空格分開的 |
| Find("div[lang$=zh]") | 篩選lang屬性以zh結(jié)尾的div元素，區(qū)分大小寫 |
| Find("div[lang^=zh]") | 篩選lang屬性以zh開頭的div元素，區(qū)分大小寫 |
以上是屬性篩選器的用法，都是以一個(gè)屬性篩選器為例，當(dāng)然你也可以使用多個(gè)屬性篩選器組合使用，比如：Find("div[id][lang=zh]"),用多個(gè)中括號(hào)連起來即可。當(dāng)有多個(gè)屬性篩選器的時(shí)候，要同時(shí)滿足這些篩選器的元素才能被篩選出來。
parent>child選擇器
如果我們想篩選出某個(gè)元素下符合條件的子元素，我們就可以使用子元素篩選器，它的語(yǔ)法為Find("parent>child"),表示篩選parent這個(gè)父元素下，符合child這個(gè)條件的最直接（一級(jí)）的子元素。
func main() {
? ?html := `
? ? ? ? ? ? ? ?DIV1
? ? ? ? ? ? ? ?DIV2
? ? ? ? ? ? ? ?DIV3
? ? ? ? ? ? ? ?
? ? ? ? ? ? ? ? ? ?DIV4
? ? ? ? ? ? ? ?
? ? ? ? ? ?
? ? ? ? ? ?`
? ?dom,err:=goquery.NewDocumentFromReader(strings.NewReader(html))
? ?if err!=nil{
? ? ? ?log.Fatalln(err)
? ?}
? ?dom.Find("body>div").Each(func(i int, selection *goquery.Selection) {
? ? ? ?fmt.Println(selection.Text())
? ?})
}
以上示例，篩選出body這個(gè)父元素下，符合條件的最直接的子元素div，結(jié)果是DIV1、DIV2、DIV3，雖然DIV4也是body的子元素，但不是一級(jí)的，所以不會(huì)被篩選到。
那么問題來了，我就是想把DIV4也篩選出來怎么辦?就是要篩選body下所有的div元素，不管是一級(jí)、二級(jí)還是N級(jí)。有辦法的，goquery考慮到了，只需要把大于號(hào)(>)改為空格就好了。比如上面的例子，改為如下選擇器即可。
? ?dom.Find("body div").Each(func(i int, selection *goquery.Selection) {
? ? ? ?fmt.Println(selection.Text())
? ?})
prev+next相鄰選擇器
假設(shè)我們要篩選的元素沒有規(guī)律，但是該元素的上一個(gè)元素有規(guī)律，我們就可以使用這種下一個(gè)相鄰選擇器來進(jìn)行選擇。
func main() {
? ?html := `
? ? ? ? ? ? ? ?DIV1
? ? ? ? ? ? ? ?P1
? ? ? ? ? ? ? ?DIV2
? ? ? ? ? ? ? ?DIV3
? ? ? ? ? ? ? ?
? ? ? ? ? ? ? ? ? ?DIV4
? ? ? ? ? ? ? ?
? ? ? ? ? ? ? ?P2
? ? ? ? ? ?
? ? ? ? ? ?`
? ?dom,err:=goquery.NewDocumentFromReader(strings.NewReader(html))
? ?if err!=nil{
? ? ? ?log.Fatalln(err)
? ?}
? ?dom.Find("div[lang=zh]+p").Each(func(i int, selection *goquery.Selection) {
? ? ? ?fmt.Println(selection.Text())
? ?})
}
這個(gè)示例演示了這種用法，我們想選擇 P1Find("div[lang=zh]+p")達(dá)到選擇P元素的目的。
這種選擇器的語(yǔ)法是("prev+next")，中間是一個(gè)加號(hào)(+)，+號(hào)前后也是選擇器。
本文為原創(chuàng)文章，轉(zhuǎn)載注明出處，歡迎掃碼關(guān)注公眾號(hào)
flysnow_org或者網(wǎng)站http://www.flysnow.org/，第一時(shí)間看后續(xù)精彩文章。一些比較可恥的網(wǎng)站抓取我的文章會(huì)去掉版權(quán)信息，這里再寫一段，大家見諒。
prev~next選擇器
有相鄰就有兄弟，兄弟選擇器就不一定要求相鄰了，只要他們共有一個(gè)父元素就可以。
? ?dom.Find("div[lang=zh]~p").Each(func(i int, selection *goquery.Selection) {
? ? ? ?fmt.Println(selection.Text())
? ?})
剛剛的例子，只需要把+號(hào)換成~號(hào),就可以把P2也篩選出來，因?yàn)?code style="box-sizing: border-box;margin-right: 2px;margin-left: 2px;padding: 2px 4px;font-size: inherit;color: rgb(233, 105, 0);line-height: inherit;word-wrap: break-word;border-top-left-radius: 4px;border-top-right-radius: 4px;border-bottom-right-radius: 4px;border-bottom-left-radius: 4px;background-color: rgb(248, 248, 248);background-position: initial initial;background-repeat: initial initial;">P2、P1和DIV1都是兄弟。
兄弟選擇器的語(yǔ)法是("prev~next"),也就是相鄰選擇器的`+`換成了`~`。
內(nèi)容過濾器
有時(shí)候我們使用選擇器選擇出來后后，希望再過濾一下，這時(shí)候就用到過濾器了，過濾器有很多，我們先講內(nèi)容過濾器這一種。
? ?dom.Find("div:contains(DIV2)").Each(func(i int, selection *goquery.Selection) {
? ? ? ?fmt.Println(selection.Text())
? ?})
Find(":contains(text)")表示篩選出的元素要包含指定的文本，我們例子中要求選擇出的div元素要包含DIV2文本，那么只有一個(gè)DIV2元素滿足要求。
此外還有Find(":empty")表示篩選出的元素都不能有子元素（包括文本元素），只篩選那些不包含任何子元素的元素。
Find(":has(selector)")和contains差不多，只不過這個(gè)是包含的是元素節(jié)點(diǎn)。
? ?dom.Find("span:has(div)").Each(func(i int, selection *goquery.Selection) {
? ? ? ?fmt.Println(selection.Text())
? ?})
以上示例表示篩選出包含div元素的span節(jié)點(diǎn)。
:first-child過濾器
:first-child過濾器，語(yǔ)法為Find(":first-child")，表示篩選出的元素要是他們的父元素的第一個(gè)子元素，如果不是，則不會(huì)被篩選出來。
func main() {
? ?html := `
? ? ? ? ? ? ? ?DIV1
? ? ? ? ? ? ? ?P1
? ? ? ? ? ? ? ?DIV2
? ? ? ? ? ? ? ?DIV3
? ? ? ? ? ? ? ?
? ? ? ? ? ? ? ? ? ?
? ? ? ? ? ? ? ? ? ?DIV5
? ? ? ? ? ? ? ?
? ? ? ? ? ? ? ?P2
? ? ? ? ? ? ? ?
? ? ? ? ? ?
? ? ? ? ? ?`
? ?dom,err:=goquery.NewDocumentFromReader(strings.NewReader(html))
? ?if err!=nil{
? ? ? ?log.Fatalln(err)
? ?}
? ?dom.Find("div:first-child").Each(func(i int, selection *goquery.Selection) {
? ? ? ?fmt.Println(selection.Html())
? ?})
}
以上例子中，我們使用Find("div")會(huì)篩選出所有的div元素，但是我們加了:first-child后，就只有DIV1和DIV4了，因?yàn)橹挥羞@兩個(gè)是他們父元素的第一個(gè)子元素，其他的DIV都不滿足。
:first-of-type過濾器
:first-child選擇器限制的比較死，必須得是第一個(gè)子元素，如果該元素前有其他在前面，就不能用:first-child了，這時(shí)候:first-of-type就派上用場(chǎng)了，它要求只要是這個(gè)類型的第一個(gè)就可以，我們把上面的例子微調(diào)下。
func main() {
? ?html := `
? ? ? ? ? ? ? ?DIV1
? ? ? ? ? ? ? ?P1
? ? ? ? ? ? ? ?DIV2
? ? ? ? ? ? ? ?DIV3
? ? ? ? ? ? ? ?
? ? ? ? ? ? ? ? ? ?P2
? ? ? ? ? ? ? ? ? ?DIV5
? ? ? ? ? ? ? ?
? ? ? ? ? ? ? ?
? ? ? ? ? ?
? ? ? ? ? ?`
? ?dom,err:=goquery.NewDocumentFromReader(strings.NewReader(html))
? ?if err!=nil{
? ? ? ?log.Fatalln(err)
? ?}
? ?dom.Find("div:first-of-type").Each(func(i int, selection *goquery.Selection) {
? ? ? ?fmt.Println(selection.Html())
? ?})
}
改動(dòng)很簡(jiǎn)單，把原來的DIV4換成了P2，如果我們還使用:first-child,DIV5是不能被篩選出來的，因?yàn)樗皇堑谝粋€(gè)子元素，它前面還有一個(gè)P2。這時(shí)候我們使用:first-of-type就可以達(dá)到目的，因?yàn)樗笫峭愋偷谝粋€(gè)就可以。DIV5就是這個(gè)div類型的第一個(gè)元素，P2不是div類型，被忽略。
:last-child 和 :last-of-type過濾器
這兩個(gè)正好和上面的:first-child、:first-of-type相反，表示最后一個(gè)，這里不再舉例，大家可以自己試試。
:nth-child(n) 過濾器
這個(gè)表示篩選出的元素是其父元素的第n個(gè)元素，n以1開始。所以我們可以知道:first-child和:nth-child(1)是相等的。通過指定n，我們就很靈活的篩選出我們需要的元素。
func main() {
? ?html := `
? ? ? ? ? ? ? ?DIV1
? ? ? ? ? ? ? ?P1
? ? ? ? ? ? ? ?DIV2
? ? ? ? ? ? ? ?DIV3
? ? ? ? ? ? ? ?
? ? ? ? ? ? ? ? ? ?P2
? ? ? ? ? ? ? ? ? ?DIV5
? ? ? ? ? ? ? ?
? ? ? ? ? ? ? ?
? ? ? ? ? ?
? ? ? ? ? ?`
? ?dom,err:=goquery.NewDocumentFromReader(strings.NewReader(html))
? ?if err!=nil{
? ? ? ?log.Fatalln(err)
? ?}
? ?dom.Find("div:nth-child(3)").Each(func(i int, selection *goquery.Selection) {
? ? ? ?fmt.Println(selection.Html())
? ?})
}
這個(gè)示例會(huì)篩選出DIV2，因?yàn)?code style="box-sizing: border-box;margin-right: 2px;margin-left: 2px;padding: 2px 4px;font-size: inherit;color: rgb(233, 105, 0);line-height: inherit;word-wrap: break-word;border-top-left-radius: 4px;border-top-right-radius: 4px;border-bottom-right-radius: 4px;border-bottom-left-radius: 4px;background-color: rgb(248, 248, 248);background-position: initial initial;background-repeat: initial initial;">DIV2是其父元素body的第三個(gè)子元素。
:nth-of-type(n) 過濾器
:nth-of-type(n)和?:nth-child(n)?類似，只不過它表示的是同類型元素的第n個(gè),所以:nth-of-type(1)?和?:first-of-type是相等的，大家可以自己試試，這里不再舉例。
nth-last-child(n) 和:nth-last-of-type(n) 過濾器
這兩個(gè)和上面的類似，只不過是倒序開始計(jì)算的，最后一個(gè)元素被當(dāng)成了第一個(gè)。大家自己測(cè)試下看看效果，很明顯。
:only-child 過濾器
Find(":only-child")?過濾器，從字面上看，可以猜測(cè)出來，它表示篩選的元素，在其父元素中，只有它自己，它的父元素沒有其他子元素，才會(huì)被匹配篩選出來。
func main() {
? ?html := `
? ? ? ? ? ? ? ?DIV1
? ? ? ? ? ? ? ?
? ? ? ? ? ? ? ? ? ?DIV5
? ? ? ? ? ? ? ?
? ? ? ? ? ?
? ? ? ? ? ?`
? ?dom,err:=goquery.NewDocumentFromReader(strings.NewReader(html))
? ?if err!=nil{
? ? ? ?log.Fatalln(err)
? ?}
? ?dom.Find("div:only-child").Each(func(i int, selection *goquery.Selection) {
? ? ? ?fmt.Println(selection.Html())
? ?})
}
示例中DIV5就可以被篩選出來，因?yàn)樗撬母冈?code style="box-sizing: border-box;margin-right: 2px;margin-left: 2px;padding: 2px 4px;font-size: inherit;color: rgb(233, 105, 0);line-height: inherit;word-wrap: break-word;border-top-left-radius: 4px;border-top-right-radius: 4px;border-bottom-right-radius: 4px;border-bottom-left-radius: 4px;background-color: rgb(248, 248, 248);background-position: initial initial;background-repeat: initial initial;">span達(dá)到唯一子元素，但DIV1就不是，所以不能唄篩選出來。
:only-of-type 過濾器
上面的例子，如果想篩選出DIV1怎么辦？可以使用Find(":only-of-type"),因?yàn)樗撬母冈刂?，唯一?code style="box-sizing: border-box;margin-right: 2px;margin-left: 2px;padding: 2px 4px;font-size: inherit;color: rgb(233, 105, 0);line-height: inherit;word-wrap: break-word;border-top-left-radius: 4px;border-top-right-radius: 4px;border-bottom-right-radius: 4px;border-bottom-left-radius: 4px;background-color: rgb(248, 248, 248);background-position: initial initial;background-repeat: initial initial;">div元素，這就是:only-of-type過濾器所要做的，同類型元素只要只有一個(gè)，就可以被篩選出來。大家把上面的例子改成:only-of-type試試，看看是否有DIV1。
選擇器或(|)運(yùn)算
如果我們想同時(shí)篩選出div,span等元素怎么辦？這時(shí)候可以采用多個(gè)選擇器進(jìn)行組合使用，并且以逗號(hào)(,)分割，Find("selector1, selector2, selectorN")表示，只要滿足其中一個(gè)選擇器就可以被篩選出來，也就是選擇器的或(|)運(yùn)算操作。
func main() {
? ?html := `
? ? ? ? ? ? ? ?DIV1
? ? ? ? ? ? ? ?
? ? ? ? ? ? ? ? ? ?DIV5
? ? ? ? ? ? ? ?
? ? ? ? ? ?
? ? ? ? ? ?`
? ?dom,err:=goquery.NewDocumentFromReader(strings.NewReader(html))
? ?if err!=nil{
? ? ? ?log.Fatalln(err)
? ?}
? ?dom.Find("div,span").Each(func(i int, selection *goquery.Selection) {
? ? ? ?fmt.Println(selection.Html())
? ?})
}
小結(jié)
goquery 是解析HTML網(wǎng)頁(yè)必備的利器，在爬蟲抓取網(wǎng)頁(yè)的過程中，靈活的使用goquery不同的選擇器，可以讓我們的抓取工作事半功倍，大大提升爬蟲的效率。
推薦閱讀
站長(zhǎng) polarisxu
自己的原創(chuàng)文章
不限于 Go 技術(shù)
職場(chǎng)和創(chuàng)業(yè)經(jīng)驗(yàn)
Go語(yǔ)言中文網(wǎng)
每天為你
分享 Go 知識(shí)
Go愛好者值得關(guān)注