Python爬取近十年TIOBE編程語言熱度數(shù)據(jù)并可視化可視化

本文介紹如何利用requests+正則表達(dá)式爬取TIOBE編程語言熱度數(shù)據(jù)，并使用?openpyxl寫入數(shù)據(jù)與?pyecharts時(shí)間輪播圖進(jìn)行可視化。

我們需要爬取的目標(biāo)url為https://www.tiobe.com/tiobe-index/打開之后如下?

分析網(wǎng)頁源代碼可以找到想要的數(shù)據(jù)，利用正則表達(dá)式提取出想要的數(shù)據(jù)，并保存到Excel中，便于后續(xù)數(shù)據(jù)處理和可視化。

完整爬蟲代碼如下，其中大多數(shù)語句都給出了詳細(xì)注釋，感興趣的讀者可以進(jìn)一步研究。

#?-*-?coding:?UTF-8?-*-
"""
@File ???：spider.py
@Author ?：葉庭云
@CSDN ???：https://yetingyun.blog.csdn.net/
"""
import?requests
import?re
import?openpyxl
import?logging

logging.basicConfig(level=logging.INFO,?format='%(asctime)s?-?%(levelname)s:?%(message)s')
headers?=?{
????"User-Agent":?"Mozilla/5.0?(Windows?NT?6.1;?WOW64)?AppleWebKit/537.1?(KHTML,?like?Gecko)?Chrome/21.0.1180.89?Safari/537.1"
}

wb?=?openpyxl.Workbook()????#?創(chuàng)建工作簿對象
sheet?=?wb.active???????????#?獲取活動(dòng)的工作表
#?編程語言???時(shí)間????熱度
sheet.append(['Programing',?'Date',?'data_per'])

url?=?'https://www.tiobe.com/tiobe-index/'
rep?=?requests.get(url,?headers=headers).text

#?正則匹配提取數(shù)據(jù)
data?=?re.findall('{name?:?(.*?),data?:?(.*?)}',?rep)
programing?=?[eval(k[0])?for?k?in?data]?????#?編程語言
dates?=?[i[1]?for?i?in?data]

#?正則表達(dá)式處理?提取出想要的數(shù)據(jù)
for?x?in?range(len(dates)):
????name?=?programing[x]
????datas?=?re.findall(r'\[Date.UTC(.*?)\]',?dates[x],?re.DOTALL)
????for?m?in?datas:
????????date1?=?re.findall(r'\d+',?m)???????#?正則提取出數(shù)字
????????date2?=?'-'.join(date1[:3])?????????#?拼接得到時(shí)間
????????data_per?=?'.'.join(date1[-2:])?????#?得到熱度數(shù)據(jù)
????????sheet.append([name,?date2,?data_per])
????????logging.info([name,?date2,?data_per])

wb.save('language_data.xlsx')

最終運(yùn)行效果如下：

可以看到成功提取出想要的數(shù)據(jù)，并保存到Excel，在jupyter notebook 環(huán)境中查看數(shù)據(jù)：

本節(jié)使用pyecharts繪制時(shí)間輪播圖數(shù)據(jù)可視化，展示現(xiàn)在熱度排 Top10 的編程語言 2009-2019 年每年的平均熱度變化。

#?-*-?coding:?UTF-8?-*-
"""
@File ???：輪播圖.py
@Author ?：葉庭云
@CSDN ???：https://yetingyun.blog.csdn.net/
"""

import?pandas?as?pd
import?xlrd
import?pyecharts.options?as?opts
from?pyecharts.charts?import?Timeline,?Bar
from?pyecharts.globals?import?CurrentConfig


CurrentConfig.ONLINE_HOST?=?'D:/python/pyecharts-assets-master/assets/'

#?提取編程語言名字
name?=?list(pd.read_excel('language_data.xlsx')['Programing'].drop_duplicates())

data?=?xlrd.open_workbook('language_data.xlsx')
table?=?data.sheets()[0]

dic1?=?{k:?[]?for?k?in?name}
#?各編程語言對應(yīng)每年里不同時(shí)間的熱度
for?i?in?range(1,?table.nrows):
?x?=?table.row_values(i)
?dic1[x[0]].append((x[1],?x[2]))

#?與編程語言順序?qū)?yīng)??每年編程語言對應(yīng)的不同時(shí)間的熱度
data_per?=?{k:?[[]?for?x?in?range(10)]?for?k?in?range(2001,?2021)}
print(data_per)

count?=?0
for?k,?v?in?dic1.items():
?for?j?in?v:???#?v?(時(shí)間，熱度)??熱度數(shù)據(jù)添加進(jìn)各年對應(yīng)的列表里
??data_per[int(j[0][:4])][count].append(eval(j[1]))??#?一年里各編程語言不同時(shí)間時(shí)的熱度??對應(yīng)起來
?count?+=?1

#?print(data_per)
data_per1?=?{k:?[]?for?k?in?list(data_per.keys())}

for?k,?v?in?list(data_per.items()):
?for?x?in?v:
??if?len(x)?==?0:??????????????????#?這一年里該語言沒有熱度數(shù)據(jù)
???data_per1[k].append(0)
??else:
???avg?=?sum(x)?/?len(x)
???data_per1[k].append(avg)?????#?這一年里的平均熱度

#?得到TOBIE現(xiàn)在排Top20的編程語言從2001年開始每年的平均熱度
print(data_per1)


def?get_year_overlap_chart(year)?->?Bar:
?sum_info?=?[(m,?n)?for?m,?n?in?zip(name,?data_per1[year])]
?#?編程語言按每年平均熱度排序
?sum_info.sort(key=lambda?z:?z[1],?reverse=True)
?name_?=?[m[0]?for?m?in?sum_info]
?datas?=?[m[1]?for?m?in?sum_info]
?#?每根柱子的顏色列表
?colors?=?['#00BFFF',?'#0000CD',?'#000000',?'#008000',?'#FF1493',?'#FFD700',?'#FF4500',?'#00FA9A',?'#191970',
?????'#9932CC']
?x?=?[]
?for?i?in?range(10):
??x.append(
???opts.BarItem(
????name=name_[i],
????value=datas[i],
????itemstyle_opts=opts.ItemStyleOpts(color=colors[i])???#?設(shè)置每根柱子的顏色
???)
??)
?#?繪制柱形圖
?bar?=?Bar()
?bar.add_xaxis(name_)
?bar.add_yaxis(series_name='熱度',?yaxis_data=x,?is_selected=True,
??????????????????label_opts=opts.LabelOpts(is_show=False))
?bar.set_global_opts(title_opts=opts.TitleOpts(
??????title="2009-2019編程語言熱度"),
??????tooltip_opts=opts.TooltipOpts(
??????is_show=True,?trigger="axis",?axis_pointer_type="shadow"),
??????????????????xaxis_opts=opts.AxisOpts(name='編程語言'),?yaxis_opts=opts.AxisOpts(name='熱度'),
?)
?return?bar

#?生成時(shí)間軸的圖
timeline?=?Timeline(init_opts=opts.InitOpts(width="1200px",?height="600px"))
for?y?in?range(2009,?2020):
?timeline.add(get_year_overlap_chart(y),?time_point=str(y))

timeline.add_schema(is_auto_play=True,?play_interval=1000)
timeline.render("language_2009_2019.html")

運(yùn)行效果如下，可以看到雖然Python越來越火熱，但Java穩(wěn)坐編程語言熱度排行榜第一！(此處一位PHP程序員拍桌)

本節(jié)對有時(shí)候pyecharts繪制的圖形渲染在網(wǎng)頁上無法加載js文件的問題進(jìn)行說明。

根據(jù)網(wǎng)站資源引用說明：pyecharts 使用的所有靜態(tài)資源文件存放于pyecharts-assets項(xiàng)目中

默認(rèn)掛載在 https://assets.pyecharts.org/assets/，因?yàn)槟J(rèn)優(yōu)先從遠(yuǎn)程引用資源，這就導(dǎo)致有的時(shí)候無法加載 js 文件，圖表顯示不出來。

解決辦法：下載所需 js 文件到本地，修改資源引用地址，Github地址：https://github.com/pyecharts/pyecharts-assets看網(wǎng)站的介紹，pyecharts 提供了更改全局 HOST 的快捷方式

from?pyecharts.globals?import?CurrentConfig

CurrentConfig.ONLINE_HOST?=?'D:/python/pyecharts-assets-master/assets/'?#?本地保存?js?資源的路徑