Python爬蟲(chóng)系列(一)入門(mén)教學(xué)

“啟? ?大家好，我是新來(lái)的小編小周。今天給大家?guī)?lái)的是python爬蟲(chóng)入門(mén)，文章以簡(jiǎn)為要，引導(dǎo)初學(xué)者快速上手爬蟲(chóng)。話不多說(shuō)，我們開(kāi)始今天的內(nèi)容。
在初步學(xué)習(xí)爬蟲(chóng)之前，我們先用一個(gè)例子來(lái)看看爬蟲(chóng)是什么。

A同學(xué)想要了解python是一種怎樣的語(yǔ)言，于是打開(kāi)了某度搜索引擎，卻發(fā)現(xiàn)占據(jù)屏幕的是各類python學(xué)習(xí)課程的廣告，而真正介紹python的內(nèi)容卻被放在了后面。
事實(shí)上，在大多數(shù)時(shí)候，我們用瀏覽器獲得的信息是十分繁冗的，因此篩選提取網(wǎng)頁(yè)中對(duì)我們有用的數(shù)據(jù)就顯得十分必要了。
我們的爬蟲(chóng)程序要做的便是：模擬瀏覽器發(fā)送請(qǐng)求-->獲取網(wǎng)頁(yè)代碼-->篩選提取數(shù)據(jù)-->存放數(shù)據(jù)。
~前期準(zhǔn)備~
爬蟲(chóng)程序中需要用到一些第三方庫(kù)，我們這里使用的是requests庫(kù)和BeautifulSoup4庫(kù)。話不多說(shuō)，讓我們先來(lái)做好這些準(zhǔn)備。（筆者使用的是IDLE3.8版本編輯器，及win系統(tǒng)）

requests 2.22.0下載地址：https://pypi.org/project/requests/#files?
BeautifulSoup4 4.8.2下載地址：https://pypi.org/project/beautifulsoup4/#files

python3.0以上版本一般自帶pip（可提供對(duì)第三方庫(kù)的下載安裝等），故第三方庫(kù)下載后可直接進(jìn)行安裝。
1. 打開(kāi)cmd

import requestsurl="http://www.baidu.com/"res=requests.get(url)print(res.status_code)200

import requestsurl="http://www.zhihu.com/"res=requests.get(url)print(res.status_code)400print(res.request.headers){'User-Agent': 'python-requests/2.22.0', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive'}

import?requestspre={'User-agent':'Mozilla/5.0'}res=requests.get("https://www.zhihu.com/billboard",headers=pre)print(res.status_code)200

import?requestsurl="http://www.sinaimg.cn/dy/slidenews/5_img/2015_48/30939_1300019_688168.jpg"path="D://pics//"+"maomi.jpg"try:        res=requests.get(url)        with open(path,'wb') as pic:                pic.write(res.content)                pic.close()                print("文件保存成功")except:        print("爬取失敗")文件保存成功

import requestsfrom bs4 import BeautifulSouppre={'User-agent':'Mozilla/5.0'}res=requests.get("https://www.zhihu.com/billboard",headers=pre)rep=res.textsoup=BeautifulSoup(rep,"html.parser")print(soup)

在代碼運(yùn)行返回的html內(nèi)容中，可以看見(jiàn)a標(biāo)簽里包含了

等子孫標(biāo)簽，其中包含了我們需要的熱榜話題，利用這段代碼我們可以獲取熱榜第一的信息進(jìn)而獲取榜單全部話題。

import requestsfrom bs4 import BeautifulSouppre={'User-agent':'Mozilla/5.0'}try:    res=requests.get("https://www.zhihu.com/billboard",headers=pre)    res.raise_for_status    rep=res.textexcept:    print("連接失敗")try:    soup=BeautifulSoup(rep,"html.parser")    con=soup.find_all('div',class_="HotList-itemTitle")    for i in range(len(con)):        print(con[i].text)except:????print("獲取失敗")

我們觀察到所有熱榜話題所在標(biāo)簽name都是div，屬性中都包含class="HotList- itemTitle"。我們使用bs4的find_all函數(shù)，返回一個(gè)包含許多元素的列表，然后利用text屬性提取有用的字符逐個(gè)輸出。
?今天的爬蟲(chóng)入門(mén)我們就先講到這里哦，小周下期繼續(xù)給大家?guī)?lái)爬蟲(chóng)分享哦！
最后，祝大家新年快樂(lè)，身體健康。

---

終”