一篇文章教會你利用Python網(wǎng)絡(luò)爬蟲獲取分類圖片
點擊上方“IT共享之家”，進行關(guān)注
回復(fù)“資料”可獲贈Python學(xué)習(xí)福利
【一、項目背景】
? ??博海拾貝是一支互聯(lián)網(wǎng)從業(yè)者在線教育的團隊，扎根于中國教育行業(yè)以及互聯(lián)網(wǎng)行業(yè)的創(chuàng)新和眼球中，打造專業(yè)體系化的互聯(lián)網(wǎng)人在線教育平臺。精心創(chuàng)作許多精彩的文章，提供了很多有趣的圖片。
????今天來教大家如何使用Python來爬取博海拾貝的圖片，分類保存，寫入文檔。
【二、項目目標(biāo)】
? ?? 創(chuàng)建一個文件夾， 分類保存所有文章圖片。下載成功，結(jié)果顯示控制臺。
【三、項目分析】
1、如何找到真正訪問的地址，多網(wǎng)頁請求?
????滑動鼠標(biāo)，觀察網(wǎng)站，右鍵F12 。鼠標(biāo)滾輪滑動加載新內(nèi)容。如圖：
????點開隨機網(wǎng)頁 , 點開Request URL ，觀察網(wǎng)址的規(guī)律。
https://bh.sb/page/1/https://bh.sb/page/2/https://bh.sb/page/3/https://bh.sb/page/4/
????觀察到，每增加一頁page/{}/自增加1，用{}代替變換的變量，再用for循環(huán)遍歷這網(wǎng)址，實現(xiàn)多個網(wǎng)址請求。
2. ?反爬處理
??? 1）獲取正常的 http請求頭，并在requests請求時，設(shè)置這些常規(guī)的http請求頭。
??? 2）使用 fake_useragent ，產(chǎn)生隨機的UserAgent進行訪問。
?
【四、涉及的庫和網(wǎng)站】
1、網(wǎng)址如下：
https://www.doutula.com/photo/list/?page={}2、涉及的庫：requests、lxml、fake_useragent、time、os
3、軟件：PyCharm
【五、項目實施】
1、我們定義一個class類繼承object，然后定義init方法繼承self，再定義一個主函數(shù)main繼承self。導(dǎo)入需要的庫和網(wǎng)址，創(chuàng)建保存文件夾。
import requests, osfrom lxml import etreefrom fake_useragent import UserAgentimport timeclass bnotiank(object):def __init__(self):os.mkdir("圖片") # 在創(chuàng)建文件夾 記住只有第一次運行加上，如果多次運行請注釋掉本行。def main(self):passif __name__ == '__main__':Siper=bnotiank()Siper.main()
2、隨機UserAgent ，構(gòu)造請求頭，防止反爬。
ua = UserAgent(verify_ssl=False)for i in range(1, 50):self.headers = {'User-Agent': ua.random}
3、發(fā)送請求 ，獲取響應(yīng)，頁面回調(diào)，方便下次請求。
'''發(fā)送請求 獲取響應(yīng)'''def get_page(self, url):res = requests.get(url=url, headers=self.headers)html = res.content.decode("utf-8")return html
4、定義parse_page函數(shù)，獲取二級頁面地址，for遍歷獲取需要的字段。
def parse_page(self, html):parse_html = etree.HTML(html)image_src_list = parse_html.xpath('//p/a/@href')# print(image_src_list)
5、對二級頁面發(fā)生請求，xpath解析數(shù)據(jù)，獲取大圖片鏈接。
reo = parse_html1.xpath('//div//div[@class="content"]') #父結(jié)點for j in reo:d = j.xpath('.//article[@class="article-content"]//p/img/@src')[0]text = parse_html1.xpath('//h1[@class ="article-title"] //a/text()')[0].strip()
6、請求圖片地址，寫入文檔。
html2 = requests.get(url=d, headers=self.headers).contentdirname = "./d/" + text + ".jpg" #定義圖命名with open(dirname, 'wb') as f:f.write(html2)print("%s 【下載成功！?。?！】" % text)
7、調(diào)用方法，實現(xiàn)功能。
url = self.url.format(page)print(url)html = self.get_page(url)self.parse_page(html)
8、設(shè)置延時。（防止ip被封）。
time.sleep(1) """時間延時"""【六、效果展示】
1、點擊綠色小三角運行輸入起始頁，終止頁。
? ??
2、將下載成功信息顯示在控制臺。
3、text 作為圖片命名，展示效果如下所示。
【七、總結(jié)】
??? 1、不建議抓取太多數(shù)據(jù)，容易對服務(wù)器造成負(fù)載，淺嘗輒止即可。
??? 2、本文基于Python網(wǎng)絡(luò)爬蟲，講述了反爬技巧，利用爬蟲庫，實現(xiàn)了分類圖片的獲取，存入文檔。
??? 3、希望通過這個項目，能夠幫助了解xpath，字符串是如何拼接，format函數(shù)如何運用。
??? 4、實現(xiàn)的時候，總會有各種各樣的問題，切勿眼高手低，勤動手，才可以理解的更加深刻。
??? 5、需要本文源碼的小伙伴，后臺回復(fù)“博海拾貝”四個字，即可獲取。
看完本文有收獲？請轉(zhuǎn)發(fā)分享給更多的人
IT共享之家
入群請在微信后臺回復(fù)【入群】
-------------------?End?-------------------
往期精彩文章推薦：