使用Python爬蟲(chóng)實(shí)現(xiàn)自動(dòng)下載圖片
python爬蟲(chóng)支持模塊多、代碼簡(jiǎn)潔、開(kāi)發(fā)效率高 ，是我們進(jìn)行網(wǎng)絡(luò)爬蟲(chóng)可以選取的好工具。對(duì)于一個(gè)個(gè)的爬取下載，勢(shì)必會(huì)消耗我們大量的時(shí)間，使用Python爬蟲(chóng)就可以解決這個(gè)問(wèn)題，即可以實(shí)現(xiàn)自動(dòng)下載。本文向大家介紹python爬蟲(chóng)的實(shí)戰(zhàn)練習(xí)之進(jìn)行自動(dòng)下載圖片的爬取過(guò)程。
一、自動(dòng)下載圖片流程
1、總結(jié)網(wǎng)址規(guī)律，以便根據(jù)網(wǎng)址訪問(wèn)網(wǎng)頁(yè)；
2、根據(jù)網(wǎng)址規(guī)律，循環(huán)爬取并返回網(wǎng)頁(yè)；
3、利用正則表達(dá)式提取并返回圖片。
二、使用Python爬蟲(chóng)實(shí)現(xiàn)自動(dòng)下載圖片步驟
1、導(dǎo)入相關(guān)包
import requestsimport importlibimport urllibimport reimport osimport sysimportlib.reload(sys)
2、定義網(wǎng)頁(yè)訪問(wèn)函數(shù)
cookie獲得方式：正常訪問(wèn)此頁(yè)面，鼠標(biāo)右鍵檢查或F12-在Network處查看自己的cookie，由于cookie很長(zhǎng)且每個(gè)用戶的cookie不同，故代碼中將cookie省略了，讀者可查看自己瀏覽器的cookie，將其加入代碼中。
def askURL(url):head = {"Accept": "image/webp,image/apng,image/*,*/*;q=0.8","Accept-Language": "zh-CN,zh;q=0.9","Connection": "keep-alive","Cookie": " ","User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"}s = quote(url, safe=string.printable) # 中文轉(zhuǎn)utf8字符，否則會(huì)報(bào)ascii錯(cuò)print(s)request = urllib.request.Request(s, headers=head)html = ""try:response = urllib.request.urlopen(request)html = response.read().decode("utf-8")print(html)except urllib.error.URLError as e:if hasattr(e, "code"):print(e.code)if hasattr(e, "reason"):print(e.reason)return html
3、提取圖片并返回
根據(jù)返回的html網(wǎng)頁(yè)可以看到，網(wǎng)頁(yè)中包含圖片的url共有四種類(lèi)型，分別是objURL、middleURL、hoverURL和thumbURL，故利用正則表達(dá)式返回四種類(lèi)型的鏈接并合并。
i = 1def savePic(url):global i #html = askURL(url)pic_url = re.findall('"objURL":"(.*?)",', html, re.S) # re.S表示讓換行符包含在字符中pic_url2 = re.findall('"middleURL":"(.*?)",', html, re.S)pic_url3 = re.findall('"hoverURL":"(.*?)",', html, re.S)pic_url4 = re.findall('"thumbURL":"(.*?)",', html, re.S)result = pic_url2 + pic_url + pic_url4 + pic_url3for item in result:print("已下載" + str(i) + "張圖片")# 定義異常控制try:pic = requests.get(item, timeout=5)except Exception:print("當(dāng)前圖片無(wú)法下載")continue# 保存圖片string = 'D:/MyData/Python爬蟲(chóng)/圖片/'+word+"/"+str(i)+".jpg"fp = open(string, 'wb')fp.write(pic.content)fp.close()i += 1
4、定義主函數(shù)
if __name__ == '__main__': # 主程序word = input("請(qǐng)輸入想要下載的圖片:")# 根據(jù)搜索的關(guān)鍵字判斷存放該類(lèi)別的文件夾是否存在,不存在則創(chuàng)建road = "D:/MyData/Python爬蟲(chóng)/圖片下載器/" + wordif not os.path.exists(road):os.mkdir(road)# 根據(jù)輸入的內(nèi)容構(gòu)建url列表，此處只訪問(wèn)了四頁(yè)驗(yàn)證效果urls = ['https://image.baidu.com/search/index?tn=baiduimage&ps=1&ct=201326592&lm=-1&cl=2&nc=1&ie=utf-8&word='+ word '.format(str(i)) for i in range(0, 40, 10)]for url in urls:print(url)downloadPic(url)print("下載完成!")
以上就是使用Python爬蟲(chóng)實(shí)現(xiàn)自動(dòng)下載圖片的過(guò)程，大家可以嘗試練習(xí)一下哦~
*聲明：本文于網(wǎng)絡(luò)整理，版權(quán)歸原作者所有，如來(lái)源信息有誤或侵犯權(quán)益，請(qǐng)聯(lián)系我們刪除或授權(quán)
