1. <strong id="7actg"></strong>
    2. <table id="7actg"></table>

    3. <address id="7actg"></address>
      <address id="7actg"></address>
      1. <object id="7actg"><tt id="7actg"></tt></object>

        分享1個爬蟲小案例,還能語音播報!

        共 2285字,需瀏覽 5分鐘

         ·

        2020-11-02 09:53

        Python與算法社區(qū)
        已原創(chuàng)422篇,干貨滿滿
        值得星標(biāo)


        01

        02

        03


        三步加星標(biāo)



        ? 1?預(yù)備知識

        此案例實現(xiàn)功能:利用網(wǎng)絡(luò)爬蟲,爬取某地的天氣,并打印和語音播報。
        要用到requests庫,lxml庫,pyttsx3庫,沒有的,可以先安裝一下,都可以通過pip安裝:
        pip?install?requests
        pip?install?lxml
        pip?install?pyttsx3
        Requests庫是個功能很強(qiáng)大的網(wǎng)絡(luò)請求庫,可以實現(xiàn)跟瀏覽器一樣發(fā)送各種HTTP請求來獲取網(wǎng)站的數(shù)據(jù)。
        Lxml庫是處理XML和HTML功能最豐富,最易于使用的庫,通常用lxml庫中的etree使HTML轉(zhuǎn)化為文檔。
        Pyttsx3庫是一個很簡單的播放語音的庫,你給它什么,它就讀什么,當(dāng)然別在意生硬的語氣。
        基本用法如下:
        import?pyttsx3

        word?=?pyttsx3.init()

        word.say('你好')
        #?關(guān)鍵一句,沒有這行代碼,不會播放語音
        word.runAndWait()
        爬蟲是爬取網(wǎng)頁的相關(guān)內(nèi)容,了解HTML能夠幫助你更好的理解網(wǎng)頁的結(jié)構(gòu)、內(nèi)容等。
        TCP/IP協(xié)議,HTTP協(xié)議這些知識了解一下就可以,能夠讓你了解在網(wǎng)絡(luò)請求和網(wǎng)絡(luò)傳輸上的基本原理,這次的小案例用不到。

        2 詳細(xì)說一說

        2.1 get請求目標(biāo)網(wǎng)址

        我們首先導(dǎo)入requests庫,然后就用它來獲取目標(biāo)的網(wǎng)頁,我們請求的是天氣網(wǎng)站中的北京天氣。
        import?requests
        #?向目標(biāo)url地址發(fā)送請求,返回一個response對象
        req?=?requests.get('https://www.tianqi.com/beijing/')
        #?.text是response對象的網(wǎng)頁html
        print(req.text)
        打印出的結(jié)果就是網(wǎng)站上顯示的內(nèi)容,瀏覽器就是通過這些內(nèi)容“解析”出來我們看到的結(jié)構(gòu)如下:

        我們請求后的獲得的數(shù)據(jù)

        注意啦,小伙伴們有很大可能運(yùn)行之后得不到網(wǎng)頁代碼,而是顯示403,這是什么意思呢?
        403錯誤是一種在網(wǎng)站訪問過程中,常見的錯誤提示,表示資源不可用。服務(wù)器理解客戶的請求,但拒絕處理它。
        我們寫的爬蟲一般會默認(rèn)告訴服務(wù)器,自己發(fā)送一個Python爬取請求,而很多的網(wǎng)站都會設(shè)置反爬蟲的機(jī)制,不允許被爬蟲訪問的。
        所以,我們想讓目標(biāo)服務(wù)器響應(yīng),那就把我們的爬蟲進(jìn)行一下偽裝。此小案例就用常用的更改User-Agent字段進(jìn)行偽裝。
        改一下之前的代碼,將爬蟲偽裝成瀏覽器請求,這樣就可以進(jìn)行正常的訪問了。

        import?requests

        headers?=?{'content-type':'application/json',?'User-Agent':'Mozilla/5.0?(Xll;?Ubuntu;?Linux?x86_64;?rv:22.0)?Gecko/20100101?Firefox/22.0'}

        #?向目標(biāo)url地址發(fā)送請求,返回一個response對象
        req?=?requests.get('https://www.tianqi.com/beijing/',headers=headers)
        #?.text是response對象的網(wǎng)頁html
        print(req.text)
        User-Agent字段怎么來的呢?我們以Chrome瀏覽器為例子,先隨便打開一個網(wǎng)頁,按鍵盤的F12或在空白處點擊鼠標(biāo)右鍵選擇“檢查”;然后刷新網(wǎng)頁,點擊“Network”再點擊“Doc”,點擊Headers,在信息欄查看Request Headers的User-Agent字段,直接復(fù)制,咱們就可以用啦。

        2.2 lxml.etree登場

        我們從網(wǎng)頁請求獲得的數(shù)據(jù)繁雜,其中只有一部分是我們真正想得到的數(shù)據(jù),例如我們從天氣的網(wǎng)站中查看北京的天氣,只有下圖中使我們想要得到的,我們?nèi)缛绾翁崛∧??這就要用到lxml.etree。

        整個代碼中只有一小部分我們想要的信息,我們發(fā)現(xiàn)想要的天氣、溫度啊都在“class='weather_info'”這一層級下,那這就好辦了。我們在請求的代碼的后面加上:
        html_obj?=?etree.HTML(html)
        html_data?=?html_obj.xpath("http://d1[@class='weather_info']//text()")

        我們print(html_data)一下看看提取是不是我們想要的數(shù)據(jù)。

        發(fā)現(xiàn)連網(wǎng)頁中換行符啊什么的也都提取出來了,還有,別忘了,提取出來的是列表哦。我們還要做一下處理。
        word?=?"歡迎使用天氣播報助手"

        for?data?in?html_data:
        ????word?+=?data
        處理完我們打印一下看看,嗯,我們想要的都有了。不過還多了一個[切換城市],我們精益求精,最后把這個最后再去掉。

        2.3 把結(jié)果說出來

        我們想要的數(shù)據(jù)都在word變量里啦,現(xiàn)在就讓他讀出來,用pyttsx3這個庫,
        ptt?=?pyttsx3.init()
        ptt.say(word)
        ptt.runAndWait()
        好的,現(xiàn)在都已完成。
        我們一步一步都摸索過來,現(xiàn)在整合在一起,最后播放效果還是不錯的,這是一次很美好的爬蟲之旅,期待下次爬??!
        《end》

        如果你想獲取本案例的全部源碼,關(guān)注下面公眾號,回復(fù) 1


        給我點個贊
        下次分享更有勁
        瀏覽 47
        點贊
        評論
        收藏
        分享

        手機(jī)掃一掃分享

        分享
        舉報
        評論
        圖片
        表情
        推薦
        點贊
        評論
        收藏
        分享

        手機(jī)掃一掃分享

        分享
        舉報
        1. <strong id="7actg"></strong>
        2. <table id="7actg"></table>

        3. <address id="7actg"></address>
          <address id="7actg"></address>
          1. <object id="7actg"><tt id="7actg"></tt></object>
            小處女末发育嫩苞视频 | 国产成人午夜精品无码区久久麻豆 | 免费人成在线 | 国内成人精品 | 狍与女人做爰全视频完 | 中国一级女人毛片 | 国产精品秘 精品久久久 | 国产99久久久国产精品下药 | 国产精品偷窥熟女视频大全 | 偷窥toilet女厕 |