手把手教你抓取鏈家二手房首頁(yè)的全部數(shù)據(jù)
回復(fù)“資源”即可獲贈(zèng)Python學(xué)習(xí)資料
一、前言
前幾天在Python白銀交流群大家在交流鏈家網(wǎng)二手房數(shù)據(jù)的抓取方法,如下圖所示。

這里想要上圖中紅色圈圈里邊的信息。
二、實(shí)現(xiàn)過(guò)程
這里群友【?? ?? ?? ??】大佬給了一份代碼,分享給大家。
#!/usr/bin/env?python
#?-*-?coding:?utf-8?-*-
#?Created?by?iFantastic?on?2022/6/7
import?scrapy
from?scrapy.cmdline?import?execute
class?LJ_spiders(scrapy.Spider):
????name?=?'lj'
????start_urls?=?[f'https://cs.lianjia.com/ershoufang/pg{page}/'?for?page?in?range(1,?101)]
????def?parse(self,?response,?**kwargs):
????????for?info?in?response.xpath("http://div[@class='info?clear']"):
????????????yield?{
????????????????'title':?info.xpath('./div[@class="title"]/a/text()').get(),
????????????????'positionInfo':?info.xpath('./div[@class="flood"]//text()').extract(),
????????????????'houseInfo':?info.xpath('./div[@class="address"]/div/text()').get(),
????????????????'followInfo':?info.xpath('./div[@class="followInfo"]//text()').get(),
????????????????'tag':?info.xpath('./div[@class="tag"]//text()').extract(),
????????????????'totalPrice':?info.xpath('//div[@class="priceInfo"]/div[1]/span/text()').get()?+?'萬(wàn)',
????????????????'unitPrice':?info.xpath('//div[@class="priceInfo"]/div[2]/span/text()').get()
????????????}
if?__name__?==?'__main__':
????execute('scrapy?crawl?lj?-o?長(zhǎng)沙二手房.csv'.split())
這里他是使用Scrapy框架抓取的,上面的代碼是爬蟲文件中的所有代碼,速度非???,可以輕而易舉的把數(shù)據(jù)獲取到。
運(yùn)行之后,結(jié)果圖下圖所示:

后面遇到類似的,不妨拿出來(lái)實(shí)戰(zhàn)下,事半功倍!
三、總結(jié)
大家好,我是皮皮。這篇文章主要分享了鏈家網(wǎng)二手房首頁(yè)數(shù)據(jù)抓取,文中針對(duì)該問(wèn)題給出了具體的解析和代碼實(shí)現(xiàn),幫助粉絲順利解決了問(wèn)題。需要本文完整代碼的小伙伴,可以私我獲取。
最后感謝粉絲【dcpeng】提問(wèn),感謝【?? ?? ?? ??】給出的思路和代碼解析,感謝【dcpeng】、【貓藥師Kelly】、【冫馬讠成】、【月神】等人參與學(xué)習(xí)交流。
小伙伴們,快快用實(shí)踐一下吧!如果在學(xué)習(xí)過(guò)程中,有遇到任何問(wèn)題,歡迎加我好友,我拉你進(jìn)Python學(xué)習(xí)交流群共同探討學(xué)習(xí)。
-------------------?End?-------------------
往期精彩文章推薦:

歡迎大家點(diǎn)贊,留言,轉(zhuǎn)發(fā),轉(zhuǎn)載,感謝大家的相伴與支持
想加入Python學(xué)習(xí)群請(qǐng)?jiān)诤笈_(tái)回復(fù)【入群】
萬(wàn)水千山總是情,點(diǎn)個(gè)【在看】行不行
