回復(fù)“資源”即可獲贈(zèng)Python學(xué)習(xí)資料

一、前言

前幾天在Python白銀交流群大家在交流鏈家網(wǎng)二手房數(shù)據(jù)的抓取方法，如下圖所示。

這里想要上圖中紅色圈圈里邊的信息。

二、實(shí)現(xiàn)過(guò)程

這里群友【?? ?? ?? ??】大佬給了一份代碼，分享給大家。

#!/usr/bin/env?python
#?-*-?coding:?utf-8?-*-
#?Created?by?iFantastic?on?2022/6/7

import?scrapy
from?scrapy.cmdline?import?execute



class?LJ_spiders(scrapy.Spider):
????name?=?'lj'
????start_urls?=?[f'https://cs.lianjia.com/ershoufang/pg{page}/'?for?page?in?range(1,?101)]

????def?parse(self,?response,?**kwargs):
????????for?info?in?response.xpath("http://div[@class='info?clear']"):
????????????yield?{
????????????????'title':?info.xpath('./div[@class="title"]/a/text()').get(),
????????????????'positionInfo':?info.xpath('./div[@class="flood"]//text()').extract(),
????????????????'houseInfo':?info.xpath('./div[@class="address"]/div/text()').get(),
????????????????'followInfo':?info.xpath('./div[@class="followInfo"]//text()').get(),
????????????????'tag':?info.xpath('./div[@class="tag"]//text()').extract(),
????????????????'totalPrice':?info.xpath('//div[@class="priceInfo"]/div[1]/span/text()').get()?+?'萬(wàn)',
????????????????'unitPrice':?info.xpath('//div[@class="priceInfo"]/div[2]/span/text()').get()
????????????}


if?__name__?==?'__main__':
????execute('scrapy?crawl?lj?-o?長(zhǎng)沙二手房.csv'.split())

這里他是使用Scrapy框架抓取的，上面的代碼是爬蟲文件中的所有代碼，速度非?？?，可以輕而易舉的把數(shù)據(jù)獲取到。

運(yùn)行之后，結(jié)果圖下圖所示：

后面遇到類似的，不妨拿出來(lái)實(shí)戰(zhàn)下，事半功倍！

三、總結(jié)

大家好，我是皮皮。這篇文章主要分享了鏈家網(wǎng)二手房首頁(yè)數(shù)據(jù)抓取，文中針對(duì)該問(wèn)題給出了具體的解析和代碼實(shí)現(xiàn)，幫助粉絲順利解決了問(wèn)題。需要本文完整代碼的小伙伴，可以私我獲取。

最后感謝粉絲【dcpeng】提問(wèn)，感謝【?? ?? ?? ??】給出的思路和代碼解析，感謝【dcpeng】、【貓藥師Kelly】、【冫馬讠成】、【月神】等人參與學(xué)習(xí)交流。

小伙伴們，快快用實(shí)踐一下吧！如果在學(xué)習(xí)過(guò)程中，有遇到任何問(wèn)題，歡迎加我好友，我拉你進(jìn)Python學(xué)習(xí)交流群共同探討學(xué)習(xí)。