手把手教你用Python獲取新冠疫情數(shù)據(jù)并進(jìn)行可視化
回復(fù)“書籍”即可獲贈(zèng)Python從入門到進(jìn)階共10本電子書
Hello，大家好。我叫“小屁孩i”。
前言
不知道大伙有沒有看到過這一句話：“中國(guó)（疫苗研發(fā)）非常困難，因?yàn)樵谥袊?guó)我們沒有辦法做第三期臨床試驗(yàn)，因?yàn)闆]有病人了?！边@句話是中國(guó)工程院院士鐘南山在上?？萍即髮W(xué)2021屆畢業(yè)典禮上提出的。這句話在全網(wǎng)流傳，被廣大網(wǎng)友稱之為“凡爾賽”發(fā)言。
今天讓我們用數(shù)據(jù)來看看這句話是不是“凡爾賽”本賽。在開始之前我們先來說說今天要用到的python庫(kù)吧！
1.數(shù)據(jù)獲取部分
requests lxml json openpyxl2.數(shù)據(jù)可視化部分
pandas pyecharts（可視化庫(kù)）以上的庫(kù)都可以通過在線下載：
pip instll xx ps：如果下載速度太慢的話也可以用國(guó)內(nèi)鏡像，使用命令，例如：
pip install xx（庫(kù)名） -i https://pypi.tuna.tsinghua.edu.cn/simple gevent（清華鏡像）現(xiàn)在一起進(jìn)入今天的代碼部分吧?。?！
數(shù)據(jù)獲取
目標(biāo)地址：
https://voice.baidu.com/act/newpneumonia/newpneumonia進(jìn)入目標(biāo)地址我們可以看到如下所示：
現(xiàn)在讓我們一起去解析網(wǎng)頁(yè)結(jié)構(gòu)找到我們要爬取到的數(shù)據(jù)如下所示：
現(xiàn)在我們找到想要的頁(yè)面數(shù)據(jù)接下來就是通過Python來獲取這些數(shù)據(jù)了，上代碼：
import requestsfrom lxml import etreeimport jsonimport openpyxl#通用爬蟲url = 'https://voice.baidu.com/act/newpneumonia/newpneumonia'headers = {"User-Agent": ".....(換成自己的)"}response = requests.get(url=url,headers=headers).text#在使用xpath的時(shí)候要用樹形態(tài)html = etree.HTML(response)#用xpath來獲取我們之前找到的頁(yè)面json數(shù)據(jù) 并打印看看json_text = html.xpath('//script[@type="application/json"]/text()')json_text = json_text[0]# print(json_text)
之后我們來解析一下json數(shù)據(jù)，上代碼：
#用python本地自帶的庫(kù)轉(zhuǎn)換一下json數(shù)據(jù)result = json.loads(json_text)# print(result)#通過打印出轉(zhuǎn)換的對(duì)象我們可以看到我們要的數(shù)據(jù)都要key為component對(duì)應(yīng)的值之下 所以現(xiàn)在我們將值拿出來result = result["component"]#再次打印看看結(jié)果# print(result)# 獲取國(guó)內(nèi)當(dāng)前數(shù)據(jù)result = result[0]['caseList']# print(result)
接著我們將獲取到的數(shù)據(jù)保存到excel中，上代碼:
# 創(chuàng)建工作簿wb = openpyxl.Workbook()# 創(chuàng)建工作表ws = wb.active# 設(shè)置表的標(biāo)題ws.title = "國(guó)內(nèi)疫情"# 寫入表頭ws.append(["省份","累計(jì)確診","死亡","治愈"])#獲取各省份的數(shù)據(jù)并寫入for line in result:line_name = [line["area"],line["confirmed"],line["died"],line["crued"]]for ele in line_name:if ele == '':ele = 0ws.append(line_name)#保存到excel中wb.save('./china.xlsx')
最后我們查看一下獲取到的數(shù)據(jù)是什么樣的，如圖：
emmmm，終于我們把數(shù)據(jù)獲取部分完成了，第二部分的數(shù)據(jù)可視化來了?。?！
數(shù)據(jù)可視化
這次我們用到的庫(kù)是pyecharts里面的Map，我們先展示一下本次可視化用到的庫(kù)
#可視化部分import pandas as pdfrom pyecharts.charts import Map,Pagefrom pyecharts import options as opts
首先我們要先通過pandas庫(kù)來獲取到剛才我們爬取到的數(shù)據(jù)，上代碼：
# 設(shè)置列對(duì)齊pd.set_option('display.unicode.ambiguous_as_wide', True)pd.set_option('display.unicode.east_asian_width', True)# 打開文件df = pd.read_excel('china.xlsx')# 對(duì)省份進(jìn)行統(tǒng)計(jì)data2 = df['省份']data2_list = list(data2)data3 = df['累計(jì)確診']data3_list = list(data3)data4 = df['死亡']data4_list = list(data4)data5 = df ['治愈']data5_list = list(data5)
接著我們來做數(shù)據(jù)可視化，將在我國(guó)地圖上的各個(gè)省份顯示出對(duì)應(yīng)的數(shù)值
我們以疫情發(fā)生以來治愈數(shù)為例，上代碼：
c = (Map().add("治愈", [list(z) for z in zip(data2_list, data5_list)], "china").set_global_opts(title_opts=opts.TitleOpts(),visualmap_opts=opts.VisualMapOpts(max_=200),))c.render()
當(dāng)然僅僅一個(gè)治愈情況當(dāng)然說明不了什么，所以我們將三種情況都以這種形式顯示出來，上代碼：
a = (Map().add("累計(jì)確診", [list(z) for z in zip(data2_list, data3_list)], "china").set_global_opts(title_opts=opts.TitleOpts(),visualmap_opts=opts.VisualMapOpts(max_=200),))b = (Map().add("死亡", [list(z) for z in zip(data2_list, data4_list)], "china").set_global_opts(title_opts=opts.TitleOpts(),visualmap_opts=opts.VisualMapOpts(max_=200),))c = (Map().add("治愈", [list(z) for z in zip(data2_list, data5_list)], "china").set_global_opts(title_opts=opts.TitleOpts(),visualmap_opts=opts.VisualMapOpts(max_=200),))page = Page(layout=Page.DraggablePageLayout)page.add(a,b,c,)# 先生成render.html文件page.render()
當(dāng)然如果是直接運(yùn)行代碼的話展現(xiàn)出來的地圖不是這樣的，這個(gè)是通過后期的排版來完成的。那么在最后我們來說說是怎么排版的吧。
首先你先將上面的代碼運(yùn)行之后會(huì)產(chǎn)生一個(gè)render.html的文件然后你打開文件之后可以調(diào)整整個(gè)頁(yè)面的布局，根據(jù)自己的喜歡來調(diào)整，接著點(diǎn)擊左上角的“Save Config”將這個(gè)json文件保存到跟render.html這個(gè)文件同一個(gè)路徑之下，最后運(yùn)行一下代碼：
#完成上一步之后把 page.render()這行注釋掉# 然后循行這下面Page.save_resize_html("render.html",cfg_file="chart_config.json",dest="my_test.html")
這樣以后會(huì)產(chǎn)生一個(gè)my_test.html這個(gè)文件就是我們上面展示的那樣啦。
結(jié)束語(yǔ)
以上就是我們這次的結(jié)果。從數(shù)據(jù)的獲取到數(shù)據(jù)可視化，怎么說呢pyecharts還具有其他強(qiáng)大的可視化功能。你還用這個(gè)庫(kù)做過什么數(shù)據(jù)可視化呢，歡迎小伙伴在評(píng)論區(qū)交流一下。如果文章內(nèi)容有出錯(cuò)的地方，希望大伙批評(píng)指正。下回見！
最后需要本文代碼的小伙伴可以在后臺(tái)回復(fù)"新冠病毒"關(guān)鍵字進(jìn)行獲取，有問題可以在公眾號(hào)后臺(tái)添加小編微信，小編幫助大家解決。
------------------- End -------------------
往期精彩文章推薦：
歡迎大家點(diǎn)贊，留言，轉(zhuǎn)發(fā)，轉(zhuǎn)載，感謝大家的相伴與支持
想加入Python學(xué)習(xí)群請(qǐng)?jiān)诤笈_(tái)回復(fù)【入群】
萬(wàn)水千山總是情，點(diǎn)個(gè)【在看】行不行
/今日留言主題/
隨便說一兩句吧~~