天冷了，我用Python爬取京東4950件羽絨服數(shù)據(jù)并可視化
前言
大家好，我是J哥。
前不久，廣深的朋友估計(jì)還穿著短袖羨慕著北方的下雪氣氛。結(jié)果就在上周，廣深也迎來了降溫，大家紛紛加入“降溫群聊”。
為了幫助大家抵御嚴(yán)寒，我特地爬了下京東的羽絨服數(shù)據(jù)。為啥不是天貓呢，理由很簡(jiǎn)單，滑塊驗(yàn)證有點(diǎn)麻煩。后臺(tái)回復(fù)「羽絨服」可領(lǐng)取數(shù)據(jù)集。
數(shù)據(jù)獲取
京東網(wǎng)站是一個(gè)ajax動(dòng)態(tài)加載的網(wǎng)站，只能通過解析接口或用selenium自動(dòng)化測(cè)試工具去爬取。關(guān)于動(dòng)態(tài)網(wǎng)頁爬蟲，本公眾號(hào)歷史原創(chuàng)文章介紹過，感興趣的朋友可以去了解一下。
本次數(shù)據(jù)獲取采用selenium，由于我的谷歌瀏覽器版本更新較快，導(dǎo)致原來的谷歌驅(qū)動(dòng)失效。于是，我禁用了瀏覽器自動(dòng)更新，并下載了對(duì)應(yīng)版本的驅(qū)動(dòng)。
接著，利用selenium在京東網(wǎng)搜索羽絨服，手機(jī)掃碼登錄，獲得了羽絨服的商品名稱、商品價(jià)格、店鋪名稱、評(píng)論人數(shù)等信息。限于篇幅，爬蟲僅給出核心代碼：
# -*- coding = uft-8 -*-
# @Time : 2020/12/01 20:20
# @Author : 公眾號(hào) 菜J學(xué)Python
# @File : jd_product_spider.py
from selenium import webdriver
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from lxml import etree
import random
import json
import csv
import time
browser = webdriver.Chrome('/菜J學(xué)Python/京東/chromedriver')
wait =WebDriverWait(browser,50) #設(shè)置等待時(shí)間
url = 'https://www.jd.com/'
data_list= [] #設(shè)置全局變量用來存儲(chǔ)數(shù)據(jù)
keyword ="羽絨服" #關(guān)鍵詞
def page_click(page_number):
try:
# 滑動(dòng)到底部
browser.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(random.randint(1, 3)) #隨機(jī)延遲
button = wait.until(
EC.element_to_be_clickable((By.CSS_SELECTOR, '#J_bottomPage > span.p-num > a.pn-next > em'))
)#翻頁按鈕
button.click()#點(diǎn)擊按鈕
wait.until(
EC.presence_of_all_elements_located((By.CSS_SELECTOR, "#J_goodsList > ul > li:nth-child(30)"))
)#等到30個(gè)商品都加載出來
# 滑到底部，加載出后30個(gè)商品
browser.execute_script("window.scrollTo(0, document.body.scrollHeight);")
wait.until(
EC.presence_of_all_elements_located((By.CSS_SELECTOR, "#J_goodsList > ul > li:nth-child(60)"))
)#等到60個(gè)商品都加載出來
wait.until(
EC.text_to_be_present_in_element((By.CSS_SELECTOR, "#J_bottomPage > span.p-num > a.curr"), str(page_number))
)# 判斷翻頁成功,高亮的按鈕數(shù)字與設(shè)置的頁碼一樣
html = browser.page_source#獲取網(wǎng)頁信息
prase_html(html)#調(diào)用提取數(shù)據(jù)的函數(shù)
except TimeoutError:
return page_click(page_number)
數(shù)據(jù)清洗
導(dǎo)入數(shù)據(jù)
import pandas as pd
import numpy as np
df = pd.read_csv("/菜J學(xué)Python/京東/羽絨服.csv")
df.sample(10)
? 重命名列
df = df.rename(columns={'title':'商品名稱','price':'商品價(jià)格','shop_name':'店鋪名稱','comment':'評(píng)論人數(shù)'})
查看數(shù)據(jù)信息
df.info()
'''
1.可能存在重復(fù)值
2.商店名稱存在缺失值
3.評(píng)價(jià)人數(shù)需要清洗
'''
RangeIndex: 4950 entries, 0 to 4949
Data columns (total 4 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 商品名稱 4950 non-null object
1 商品價(jià)格 4950 non-null float64
2 店鋪名稱 4949 non-null object
3 評(píng)論人數(shù) 4950 non-null object
dtypes: float64(1), object(3)
memory usage: 154.8+ KB刪除重復(fù)數(shù)據(jù)
df = df.drop_duplicates()
缺失值處理
df["店鋪名稱"] = df["店鋪名稱"].fillna("無名氏")
商品名稱清洗
厚度
tmp=[]
for i in df["商品名稱"]:
if "厚" in i:
tmp.append("厚款")
elif "薄" in i:
tmp.append("薄款")
else:
tmp.append("其他")
df['厚度'] = tmp
版型
for i in df["商品名稱"]:
if "修身" in i:
tmp.append("修身型")
elif "寬松" in i:
tmp.append("寬松型")
else:
tmp.append("其他")
df['版型'] = tmp
風(fēng)格
tmp=[]
for i in df["商品名稱"]:
if "韓" in i:
tmp.append("韓版")
elif "商務(wù)" in i:
tmp.append("商務(wù)風(fēng)")
elif "休閑" in i:
tmp.append("休閑風(fēng)")
elif "簡(jiǎn)約" in i:
tmp.append("簡(jiǎn)約風(fēng)")
else:
tmp.append("其他")
df['風(fēng)格'] = tmp
商品價(jià)格清洗
df["價(jià)格區(qū)間"] = pd.cut(df["商品價(jià)格"],[0, 100,300, 500, 700, 1000,1000000],labels=['100元以下','100元-300元','300元-500元','500元-700元','700元-1000元','1000元以上'],right=False)
評(píng)價(jià)人數(shù)清洗
import re
df['數(shù)字'] = [re.findall(r'(\d+\.{0,1}\d*)', i)[0] for i in df['評(píng)論人數(shù)']] #提取數(shù)字
df['數(shù)字'] = df['數(shù)字'].astype('float') #轉(zhuǎn)化數(shù)值型
df['單位'] = [''.join(re.findall(r'(萬)', i)) for i in df['評(píng)論人數(shù)']] #提取單位（萬）
df['單位'] = df['單位'].apply(lambda x:10000 if x=='萬' else 1)
df['評(píng)論人數(shù)'] = df['數(shù)字'] * df['單位'] # 計(jì)算評(píng)論人數(shù)
df['評(píng)論人數(shù)'] = df['評(píng)論人數(shù)'].astype("int")
df.drop(['數(shù)字', '單位'], axis=1, inplace=True)
店鋪名稱清洗
df["店鋪類型"] = df["店鋪名稱"].str[-3:]可視化
導(dǎo)入可視化相關(guān)庫
import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline
plt.rcParams['font.sans-serif'] = ['SimHei'] # 設(shè)置加載的字體名
plt.rcParams['axes.unicode_minus'] = False # 解決保存圖像是負(fù)號(hào)'-'顯示為方塊的問題
import jieba
import re
from pyecharts.charts import *
from pyecharts import options as opts
from pyecharts.globals import ThemeType
import stylecloud
from IPython.display import Image
描述性統(tǒng)計(jì)
相關(guān)性分析
商品價(jià)格分布直方圖
sns.set_style('white')
fig,axes=plt.subplots(figsize=(15,8))
sns.distplot(df["商品價(jià)格"],color="salmon",bins=10)
plt.xticks(fontsize=16)
plt.yticks(fontsize=16)
axes.set_title("商品價(jià)格分布直方圖")
評(píng)論人數(shù)分布直方圖
sns.set_style('white')
fig,axes=plt.subplots(figsize=(15,8))
sns.distplot(df["評(píng)論人數(shù)"],color="green",bins=10,rug=True)
plt.xticks(fontsize=16)
plt.yticks(fontsize=16)
axes.set_title("評(píng)論人數(shù)分布直方圖")
評(píng)論人數(shù)與商品價(jià)格的關(guān)系
fig,axes=plt.subplots(figsize=(15,8))
sns.regplot(x='評(píng)論人數(shù)',y='商品價(jià)格',data=df,color='orange',marker='*')
plt.xticks(fontsize=16)
plt.yticks(fontsize=16)
羽絨服價(jià)格分布
df2 = df["價(jià)格區(qū)間"].astype("str").value_counts()
print(df2)
df2 = df2.sort_values(ascending=False)
regions = df2.index.to_list()
values = df2.to_list()
c = (
Pie(init_opts=opts.InitOpts(theme=ThemeType.DARK))
.add("", list(zip(regions,values)))
.set_global_opts(legend_opts = opts.LegendOpts(is_show = False),title_opts=opts.TitleOpts(title="羽絨服價(jià)格區(qū)間分布",subtitle="數(shù)據(jù)來源：騰訊視頻\n制圖：菜J學(xué)Python",pos_top="0.5%",pos_left = 'left'))
.set_series_opts(label_opts=opts.LabelOpts(formatter=":13ixwwoc3%",font_size=14))
)
c.render_notebook()
評(píng)論人數(shù)top10店鋪
df5 = df.groupby('店鋪名稱')['評(píng)論人數(shù)'].mean()
df5 = df5.sort_values(ascending=True)
df5 = df5.tail(10)
print(df5.index.to_list())
print(df5.to_list())
c = (
Bar(init_opts=opts.InitOpts(theme=ThemeType.DARK,width="1100px",height="600px"))
.add_xaxis(df5.index.to_list())
.add_yaxis("",df5.to_list()).reversal_axis() #X軸與y軸調(diào)換順序
.set_global_opts(title_opts=opts.TitleOpts(title="評(píng)論人數(shù)TOP10",subtitle="數(shù)據(jù)來源：京東 \t制圖：J哥",pos_left = 'left'),
xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=11)), #更改橫坐標(biāo)字體大小
#yaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=12)),
yaxis_opts=opts.AxisOpts(axislabel_opts={"rotate":30})#更改縱坐標(biāo)字體大小
)
.set_series_opts(label_opts=opts.LabelOpts(font_size=16,position='right'))
)
c.render_notebook()
版型
df5 = df.groupby('版型')['商品價(jià)格'].mean()
df5 = df5.sort_values(ascending=True)[:2]
#df5 = df5.tail(10)
df5 = df5.round(2)
print(df5.index.to_list())
print(df5.to_list())
c = (
Bar(init_opts=opts.InitOpts(theme=ThemeType.DARK,width="1000px",height="500px"))
.add_xaxis(df5.index.to_list())
.add_yaxis("",df5.to_list()).reversal_axis() #X軸與y軸調(diào)換順序
.set_global_opts(title_opts=opts.TitleOpts(title="各版型羽絨服均價(jià)",subtitle="數(shù)據(jù)來源：中原地產(chǎn) \t制圖：J哥",pos_left = 'left'),
xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=11)), #更改橫坐標(biāo)字體大小
#yaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=12)),
yaxis_opts=opts.AxisOpts(axislabel_opts={"rotate":30})#更改縱坐標(biāo)字體大小
)
.set_series_opts(label_opts=opts.LabelOpts(font_size=16,position='right'))
)
c.render_notebook()
厚度
df5 = df.groupby('厚度')['商品價(jià)格'].mean()
df5 = df5.sort_values(ascending=True)[:2]
#df5 = df5.tail(10)
df5 = df5.round(2)
print(df5.index.to_list())
print(df5.to_list())
c = (
Bar(init_opts=opts.InitOpts(theme=ThemeType.DARK,width="1000px",height="500px"))
.add_xaxis(df5.index.to_list())
.add_yaxis("",df5.to_list()).reversal_axis() #X軸與y軸調(diào)換順序
.set_global_opts(title_opts=opts.TitleOpts(title="各厚度羽絨服均價(jià)",subtitle="數(shù)據(jù)來源：京東 \t制圖：J哥",pos_left = 'left'),
xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=11)), #更改橫坐標(biāo)字體大小
#yaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=12)),
yaxis_opts=opts.AxisOpts(axislabel_opts={"rotate":30})#更改縱坐標(biāo)字體大小
)
.set_series_opts(label_opts=opts.LabelOpts(font_size=16,position='right'))
)
c.render_notebook()
風(fēng)格
df5 = df.groupby('風(fēng)格')['商品價(jià)格'].mean()
df5 = df5.sort_values(ascending=True)[:4]
#df5 = df5.tail(10)
df5 = df5.round(2)
print(df5.index.to_list())
print(df5.to_list())
c = (
Bar(init_opts=opts.InitOpts(theme=ThemeType.DARK,width="1000px",height="500px"))
.add_xaxis(df5.index.to_list())
.add_yaxis("",df5.to_list()).reversal_axis() #X軸與y軸調(diào)換順序
.set_global_opts(title_opts=opts.TitleOpts(title="各風(fēng)格羽絨服均價(jià)",subtitle="數(shù)據(jù)來源：京東 \t制圖：J哥",pos_left = 'left'),
xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=11)), #更改橫坐標(biāo)字體大小
#yaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=12)),
yaxis_opts=opts.AxisOpts(axislabel_opts={"rotate":30})#更改縱坐標(biāo)字體大小
)
.set_series_opts(label_opts=opts.LabelOpts(font_size=16,position='right'))
)
c.render_notebook()
羽絨服詞云圖
···? END? ···
PS：公號(hào)內(nèi)回復(fù)「Python」即可進(jìn)入Python 新手學(xué)習(xí)交流群，一起?100 天計(jì)劃！
老規(guī)矩，兄弟們還記得么，右下角的 “在看” 點(diǎn)一下，如果感覺文章內(nèi)容不錯(cuò)的話，記得分享朋友圈讓更多的人知道！
【神秘禮包獲取方式】
評(píng)論
圖片
表情