手把手教你使用Python網(wǎng)絡(luò)爬蟲獲取B站視頻選集內(nèi)容（附源碼）
回復(fù)“書籍”即可獲贈(zèng)Python從入門到進(jìn)階共10本電子書
大家好，我是Python進(jìn)階者。
前言
前幾天雪球兄在Python交流群里分享了一個(gè)獲取B站視頻選集的Python代碼，小編覺得非常奈斯，這里整理成一篇小文章，分享給大家學(xué)習(xí)。
關(guān)于雪球兄，大家應(yīng)該都熟悉了，之前他寫過Python實(shí)戰(zhàn)文章，好評(píng)如潮，沒來得及看的小伙伴，可以戳這里了：
盤點(diǎn)常用驗(yàn)證碼標(biāo)注和識(shí)別項(xiàng)目線上部署三種方式——VUE前端、Java后端和Python后端部署
Python項(xiàng)目實(shí)戰(zhàn)篇——常用驗(yàn)證碼標(biāo)注&識(shí)別(前端+后端實(shí)現(xiàn)高效率數(shù)據(jù)標(biāo)注)
Python項(xiàng)目實(shí)戰(zhàn)篇——常用驗(yàn)證碼標(biāo)注&識(shí)別(數(shù)據(jù)采集/預(yù)處理/字符圖切割）
Python項(xiàng)目實(shí)戰(zhàn)篇——常用驗(yàn)證碼標(biāo)注和識(shí)別(需求分析和實(shí)現(xiàn)思路)
之前也有給大家分享B站的一些文章，感興趣的話可以看看這個(gè)文章，Python網(wǎng)絡(luò)爬蟲+數(shù)據(jù)分析：手把手教你用Python網(wǎng)絡(luò)爬蟲獲取B站UP主10萬條數(shù)據(jù)并用Pandas庫進(jìn)行趣味數(shù)據(jù)分析。
一、背景引入
一提到B站，第一印象就是視頻，相信很多小伙伴和我一樣，都想著去利用網(wǎng)絡(luò)爬蟲技術(shù)獲取B站的視頻吧，但是B站視頻其實(shí)沒有那么好拿到的，關(guān)于B站的視頻獲取，之前有介紹通過you-get庫進(jìn)行實(shí)現(xiàn)，感興趣的小伙伴可以看這篇文章：You-Get 就是這么強(qiáng)勢(shì)！。
言歸正傳，經(jīng)常在B站上學(xué)習(xí)的小伙伴們可能經(jīng)常會(huì)遇到有的博主連載幾十個(gè)，甚至幾百個(gè)視頻，尤其像這種編程語言、課程、工具使用等連續(xù)的教程，就會(huì)出現(xiàn)選集系列，如下圖所示。
當(dāng)然這些選集的字段我們?nèi)庋垡彩强梢钥吹玫降?/span>。只是通過程序來實(shí)現(xiàn)的話，可能真沒有想象的那么簡(jiǎn)單。那么這篇文章的目標(biāo)呢，就是通過Python網(wǎng)絡(luò)爬蟲技術(shù)，基于selenium庫，實(shí)現(xiàn)視頻選集的獲取。
二、具體實(shí)現(xiàn)
這篇文章我們用的庫是selenium，這個(gè)是一個(gè)用于模擬用戶登錄的庫，雖然給人的感覺是慢，但是在網(wǎng)絡(luò)爬蟲領(lǐng)域，這個(gè)庫還是用的蠻多的，用它來模擬登錄、獲取數(shù)據(jù)屢試不爽。下面是實(shí)現(xiàn)視頻選集采集的所有代碼，歡迎大家親自動(dòng)手實(shí)踐。
# coding: utf-8from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.support.wait import WebDriverWaitclass Item:page_num = ""part = ""duration = ""def __init__(self, page_num, part, duration):self.page_num = page_numself.part = partself.duration = durationdef get_second(self):str_list = self.duration.split(":")sum = 0for i, item in enumerate(str_list):sum += pow(60, len(str_list) - i - 1) * int(item)return sumdef get_bilili_page_items(url):options = webdriver.ChromeOptions()options.add_argument('--headless') # 設(shè)置無界面options.add_experimental_option('excludeSwitches', ['enable-automation'])# options.add_experimental_option("prefs", {"profile.managed_default_content_settings.images": 2,# "profile.managed_default_content_settings.flash": 0})browser = webdriver.Chrome(options=options)# browser = webdriver.PhantomJS()print("正在打開網(wǎng)頁...")browser.get(url)print("等待網(wǎng)頁響應(yīng)...")# 需要等一下，直到頁面加載完成wait = WebDriverWait(browser, 10)wait.until(EC.visibility_of_element_located((By.XPATH, '//*[@class="list-box"]/li/a')))print("正在獲取網(wǎng)頁數(shù)據(jù)...")list = browser.find_elements_by_xpath('//*[@class="list-box"]/li')# print(list)itemList = []second_sum = 0# 2.循環(huán)遍歷出每一條搜索結(jié)果的標(biāo)題for t in list:# print("t text:",t.text)element = t.find_element_by_tag_name('a')# print("a text:",element.text)arr = element.text.split('\n')print(" ".join(arr))item = Item(arr[0], arr[1], arr[2])second_sum += item.get_second()itemList.append(item)print("總數(shù)量:", len(itemList))# browser.page_sourceprint("總時(shí)長(zhǎng)/分鐘:", round(second_sum / 60, 2))print("總時(shí)長(zhǎng)/小時(shí):", round(second_sum / 3600.0, 2))browser.close()return itemListget_bilili_page_items("https://www.bilibili.com/video/BV1Eb411u7Fw")
這里用到的選擇器是xpath，利用視頻示例是B站的《高等數(shù)學(xué)》同濟(jì)版 全程教學(xué)視頻（宋浩老師）視頻選集，大家如果想抓取其他視頻選集的話，只需要更改上述代碼的最后一行的URL鏈接即可。
三、常見問題
在運(yùn)行過程中小伙伴們應(yīng)該會(huì)經(jīng)常遇到這個(gè)問題，如下圖所示。
這個(gè)是因?yàn)楣雀栩?qū)動(dòng)版本問題導(dǎo)致的，只需要根據(jù)提示，去下載對(duì)應(yīng)的驅(qū)動(dòng)版本即可，驅(qū)動(dòng)下載鏈接：
https://chromedriver.storage.googleapis.com/index.html
四、總結(jié)
我是Python進(jìn)階者。這篇文章主要給大家介紹了B站視頻選集內(nèi)容的獲取方法，基于網(wǎng)絡(luò)爬蟲，通過selenium庫和xpath選擇器進(jìn)行實(shí)現(xiàn)，并且給大家例舉了常見問題的處理方法。小伙伴們，快快用實(shí)踐一下吧！如果在學(xué)習(xí)過程中，有遇到任何問題，歡迎加我好友，我拉你進(jìn)Python學(xué)習(xí)交流群共同探討學(xué)習(xí)。
------------------- End -------------------
往期精彩文章推薦：
歡迎大家點(diǎn)贊，留言，轉(zhuǎn)發(fā)，轉(zhuǎn)載，感謝大家的相伴與支持
想加入Python學(xué)習(xí)群請(qǐng)?jiān)诤笈_(tái)回復(fù)【入群】
萬水千山總是情，點(diǎn)個(gè)【在看】行不行
/今日留言主題/
隨便說一兩句吧~~