一個小工具可以更快的寫爬蟲

你好，我是 somenzz，我想你應(yīng)該寫過爬蟲吧，就是那個 requests 庫，它太好用了，應(yīng)該沒有人不知道 requests。

通常我們使用谷歌瀏覽器的開發(fā)者工具（F12）查找網(wǎng)絡(luò)請求，然后將網(wǎng)絡(luò)請求里面的 url、headers、cookie、user-agent、請求的參數(shù)等等，記錄下來，然后，用 requests 模擬瀏覽器發(fā)出的請求。

這些簡單無腦復(fù)制操作，讓我覺得寫爬蟲真的累，有沒有一個工具，可以直接把這個請求轉(zhuǎn)化為 Python 代碼？

還真有！

那就是 curlconverter^[1]

用法很簡單：

以谷歌瀏覽器為例：

1、在「開發(fā)者工具」中打開「Network」選項卡

2、右鍵單擊（或按住 Ctrl 鍵單擊）請求

3、點擊 "Copy" → "Copy as cURL"

4、將其粘貼到上面的 curl 命令框中

選擇需要轉(zhuǎn)換語言（默認就是 Python），就可以復(fù)制代碼了，非常方便：

最后的話

這個工具真是相見恨晚，可以大大節(jié)省你寫爬蟲花費的時間，請記住網(wǎng)址是：https://curlconverter.com/，如果覺得有幫助，請點在看擴散，如果有好的工具，也可以留言分享。

參考資料