涉及主要知識(shí)點(diǎn):
web是如何交互的
requests庫(kù)的get、post函數(shù)的應(yīng)用
response對(duì)象的相關(guān)函數(shù)，屬性
python文件的打開，保存
代碼中給出了注釋，并且可以直接運(yùn)行哦
如何安裝requests庫(kù)(安裝好python的朋友可以直接參考，沒有的，建議先裝一哈python環(huán)境)
windows用戶，Linux用戶幾乎一樣:
打開cmd輸入以下命令即可，如果python的環(huán)境在C盤的目錄，會(huì)提示權(quán)限不夠，只需以管理員方式運(yùn)行cmd窗口
pip install
-
i https
:
//pypi.tuna.tsinghua.edu.cn/simple requests
Linux用戶類似(ubantu為例): 權(quán)限不夠的話在命令前加入sudo即可
sudo pip install
-
i https
:
//pypi.tuna.tsinghua.edu.cn/simple requests
1.爬取強(qiáng)大的BD頁(yè)面，打印頁(yè)面信息
# 第一個(gè)爬蟲示例,爬取百度頁(yè)面
import
requests
#導(dǎo)入爬蟲的庫(kù)，不然調(diào)用不了爬蟲的函數(shù)
response
=
requests
.
get
(
"http://www.baidu.com"
)
#生成一個(gè)response對(duì)象
response
.
encoding
=
response
.
apparent_encoding
#設(shè)置編碼格式
print
(
"狀態(tài)碼:"
+
str
(
response
.
status_code
)
)
#打印狀態(tài)碼
print
(
response
.
text
)#輸出爬取的信息
2.常用方法之get方法實(shí)例，下面還有傳參實(shí)例
# 第二個(gè)get方法實(shí)例
import
requests
#先導(dǎo)入爬蟲的庫(kù)，不然調(diào)用不了爬蟲的函數(shù)
response
=
requests
.
get
(
"http://httpbin.org/get"
)
#get方法
print
(
response
.
status_code
)
#狀態(tài)碼
print
(
response
.
text
)
3. 常用方法之post方法實(shí)例，下面還有傳參實(shí)例
# 第三個(gè) post方法實(shí)例
import
requests
#先導(dǎo)入爬蟲的庫(kù)，不然調(diào)用不了爬蟲的函數(shù)
response
=
requests
.
post
(
"http://httpbin.org/post"
)
#post方法訪問
print
(
response
.
status_code
)
#狀態(tài)碼
print
(
response
.
text
)
4. put方法實(shí)例
# 第四個(gè) put方法實(shí)例
import
requests
#先導(dǎo)入爬蟲的庫(kù)，不然調(diào)用不了爬蟲的函數(shù)
response
=
requests
.
put
(
"http://httpbin.org/put"
)
# put方法訪問
print
(
response
.
status_code
)
#狀態(tài)碼
print
(
response
.
text
)
5.常用方法之get方法傳參實(shí)例(1)
如果需要傳多個(gè)參數(shù)只需要用&符號(hào)連接即可如下
# 第五個(gè) get傳參方法實(shí)例
import
requests
#先導(dǎo)入爬蟲的庫(kù)，不然調(diào)用不了爬蟲的函數(shù)
response
=
requests
.
get
(
"http://httpbin.org/get?name=hezhi&age=20"
)
# get傳參
print
(
response
.
status_code
)
#狀態(tài)碼
print
(
response
.
text
)
6.常用方法之get方法傳參實(shí)例(2)
params用字典可以傳多個(gè)
# 第六個(gè) get傳參方法實(shí)例
import
requests
#先導(dǎo)入爬蟲的庫(kù)，不然調(diào)用不了爬蟲的函數(shù)
data
=
{
"name"
:
"hezhi"
,
"age"
:
20
}
response
=
requests
.
get
(
"http://httpbin.org/get"
,
params
=
data
)
# get傳參
print
(
response
.
status_code
)
#狀態(tài)碼
print
(
response
.
text
)
7.常用方法之post方法傳參實(shí)例(2) 和上一個(gè)有沒有很像
# 第七個(gè) post傳參方法實(shí)例
import
requests
#先導(dǎo)入爬蟲的庫(kù)，不然調(diào)用不了爬蟲的函數(shù)
data
=
{
"name"
:
"hezhi"
,
"age"
:
20
}
response
=
requests
.
post
(
"http://httpbin.org/post"
,
params
=
data
)
# post傳參
print
(
response
.
status_code
)
#狀態(tài)碼
print
(
response
.
text
)
8.關(guān)于繞過反爬機(jī)制，以zh爸爸為例
# 第好幾個(gè)方法實(shí)例
import
requests
#先導(dǎo)入爬蟲的庫(kù)，不然調(diào)用不了爬蟲的函數(shù)
response
=
requests
.
get
(
"http://www.zhihu.com"
)
#第一次訪問知乎，不設(shè)置頭部信息
print
(
"第一次,不設(shè)頭部信息,狀態(tài)碼:"
+
response
.
status_code
)#
沒寫
headers
，不能正常爬取，狀態(tài)碼不是
200
#下面是可以正常爬取的區(qū)別，更改了User-Agent字段
headers
=
{
"User-Agent"
:
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36"
}#設(shè)置頭部信息,偽裝瀏覽器
response
=
requests
.
get
(
"http://www.zhihu.com"
,
headers
=
headers
)
#get方法訪問,傳入headers參數(shù)，
print
(
response
.
status_code
)
# 200！訪問成功的狀態(tài)碼
print
(
response
.
text
)
9.爬取信息并保存到本地,
因?yàn)槟夸涥P(guān)系，在D盤建立了一個(gè)叫做爬蟲的文件夾，然后保存信息
注意文件保存時(shí)的encoding設(shè)置
# 爬取一個(gè)html并保存
import
requests
url
=
"http://www.baidu.com"
response
=
requests
.
get
(
url
)
response
.
encoding
=
"utf-8"
#設(shè)置接收編碼格式
print
(
"\nr的類型"
+
str
(
type
(
response
)
)
)
print
(
"\n狀態(tài)碼是:"
+
str
(
response
.
status_code
)
)
print
(
"\n頭部信息:"
+
str
(
response
.
headers
)
)
print
(
"\n響應(yīng)內(nèi)容:"
)
print
(
response
.
text
)
#保存文件
file
=
open
(
"D:\\爬蟲\\baidu.html"
,
"w"
,
encoding
=
"utf-8"
)
#打開一個(gè)文件，w是文件不存在則新建一個(gè)文件，這里不用wb是因?yàn)椴挥帽４娉啥M(jìn)制
file
.
write
(
response
.
text
)
file
.
close
()
10.爬取圖片，保存到本地
#保存百度圖片到本地
import
requests
#先導(dǎo)入爬蟲的庫(kù)，不然調(diào)用不了爬蟲的函數(shù)
response
=
requests
.
get
(
"https://www.baidu.com/img/baidu_jgylogo3.gif"
)
#get方法的到圖片響應(yīng)
file
=
open
(
"D:\\爬蟲\\baidu_logo.gif"
,
"wb"
)
#打開一個(gè)文件,wb表示以二進(jìn)制格式打開一個(gè)文件只用于寫入
file
.
write
(
response
.
content
)
#寫入文件
file
.
close
()#關(guān)閉操作，運(yùn)行完畢后去你的目錄看一眼有沒有保存成功
鏈接：https://www.cnblogs.com/h3zh1/p/12548946.html
（版權(quán)歸原作者所有，侵刪）
