Python 爬蟲 | feapder 與 Scrapy 橫評對比，你會選擇哪個？
本篇文章在源碼層面比對feapder、scrapy 、scrapy-redis的設計，閱讀本文后，會加深您對scrapy以及feapder的了解，以及為什么推薦使用feapder
Scrapy分析
1. 解析函數(shù)或數(shù)據(jù)入庫出錯，不會重試，會造成一定的數(shù)據(jù)丟失
scrapy自帶的重試中間件只支持請求重試，解析函數(shù)內異?；蛘邤?shù)據(jù)入庫異常不會重試，但爬蟲在請求數(shù)據(jù)時，往往會有一些意想不到的頁面返回來，若我們解析異常了，這條任務豈不是丟了。
當然有些大佬可以通過一些自定義中間件的方式或者加異常捕獲的方式來解決，我們這里只討論自帶的。
2. 運行方式，需借助命令行，不方便調試
若想直接運行，需編寫如下文件，麻煩
from scrapy import cmdline
name = 'spider_name'
cmd = 'scrapy crawl {0}'.format(name)
cmdline.execute(cmd.split()
為什么必須通過命令行方式呢？因為scrapy是通過這種方式來加載項目中的settings.py文件的
3. 入庫pipeline，不能批量入庫
class TestScrapyPipeline(object):
def process_item(self, item, spider):
return item
pipelines里的item是一條條傳過來的，沒法直接批量入庫，但數(shù)據(jù)量大的時候，我們往往是需要批量入庫的，以節(jié)省數(shù)據(jù)庫的性能開銷，加快入庫速度
Scrapy-redis分析
scrapy-redis任務隊列使用redis做的，初始任務存在 [spider_name]:start_urls里，爬蟲產生的子鏈接存在[spider_name]:requests下，那么我們先看下redis里的任務
1. redis中的任務可讀性不好
我們看下子鏈任務，可以看到存儲的是序列化后的，這種可讀性不好
2. 取任務時直接彈出，會造成任務丟失
我們分析下scrapy-redis幾種任務隊列，取任務時都是直接把任務彈出來，如果任務剛彈出來爬蟲就意外退出，那剛彈出的這條任務就會丟失。
FifoQueue（先進先出隊列） 使用list集合
PriorityQueue（優(yōu)先級隊列），使用zset集合
LifoQueue（先進后出隊列），使用list集合
scrapy-redis默認使用PriorityQueue隊列，即優(yōu)先級隊列
3. 去重耗內存
使用redis的set集合對request指紋進行去重，這種面對海量數(shù)據(jù)去重對redis內存容量要求很高
4. 需單獨維護個下發(fā)種子任務的腳本
feapder分析
feapder內置 AirSpider、Spider、BatchSpider三種爬蟲，AirSpider對標Scrapy，Spider對標scrapy-redis，BatchSpider則是應于周期性采集的需求，如每周采集一次商品的銷量等場景
上述問題解決方案
1. 解析函數(shù)或數(shù)據(jù)入庫出錯，不會重試，會造成一定的數(shù)據(jù)丟失
feapder對請求、解析、入庫進行了全面的異常捕獲，任何位置出現(xiàn)異常會自動重試請求，若有不想重試的請求也可指定
2. 運行方式，需借助命令行，不方便調試
feapder支持直接運行，跟普通的python腳本沒區(qū)別，可以借助pycharm調試。
除了斷點調試，feapder還支持將爬蟲轉為Debug爬蟲，Debug爬蟲模式下，可指定請求與解析函數(shù)，生產的任務與數(shù)據(jù)不會污染正常環(huán)境
3. 入庫pipeline，不能批量入庫
feapder 生產的數(shù)據(jù)會暫存內存的隊列里，積攢一定量級或每0.5秒批量傳給pipeline，方便批量入庫
def save_items(self, table, items: List[Dict]) -> bool:
pass
這里有人會有疑問
數(shù)據(jù)放到內存里了，會不會造成擁堵？
答：不會，這里限制了最高能積攢5000條的上限，若到達上限后，爬蟲線程會強制將數(shù)據(jù)入庫，然后再生產數(shù)據(jù)
若爬蟲意外退出，數(shù)據(jù)會不會丟？
答：不會，任務會在數(shù)據(jù)入庫后再刪除，若意外退出了，產生這些數(shù)據(jù)的任務會重做
入庫失敗了怎么辦？
答：入庫失敗，任務會重試，數(shù)據(jù)會重新入庫，若失敗次數(shù)到達配置的上限會報警
4. redis中的任務可讀性不好
feapder對請求里常用的字段沒有序列化，只有那些json不支持的對象才進行序列化
5. 取任務時直接彈出，會造成任務丟失
feapder在獲取任務時，沒直接彈出，任務采用redis的zset集合存儲，每次只取小于當前時間搓分數(shù)的任務，同時將取到的任務分數(shù)修改為當前時間搓+10分鐘，防止其他爬蟲取到重復的任務。若爬蟲意外退出，這些取到的任務其實還在任務隊列里，并沒有丟失
6. 去重耗內存
feapder支持三種去重方式
內存去重：采用可擴展的bloomfilter結構，基于內存，去重一萬條數(shù)據(jù)約0.5秒，一億條數(shù)據(jù)占用內存約285MB 臨時去重：采用redis的zset集合存儲數(shù)據(jù)的md5值，去重可指定時效性。去重一萬條數(shù)據(jù)約0.26秒，一億條數(shù)據(jù)占用內存約1.43G 永久去重：采用可擴展的bloomfilter結構，基于redis，去重一萬條數(shù)據(jù)約0.5秒，一億條數(shù)據(jù)占用內存約285MB
7. 分布式爬蟲需單獨維護個下發(fā)種子任務的腳本
feapder沒種子任務和子鏈接的分別，yield feapder.Request都會把請求下發(fā)到任務隊列，我們可以在start_requests編寫下發(fā)種子任務的邏輯
這里又有人會有疑問了
我爬蟲啟動多份時，
start_requests不會重復調用，重復下發(fā)種子任務么？答：不會，分布式爬蟲在調用
start_requests時，會加進程鎖，保證只能有一個爬蟲調用這個函數(shù)。并且若任務隊列中有任務時，爬蟲會走斷點續(xù)爬的邏輯，不會執(zhí)行start_requests那支持手動下發(fā)任務么
答：支持，按照feapder的任務格式，往redis里扔任務就好，爬蟲支持常駐等待任務
三種爬蟲簡介
1. AirSpider
使用PriorityQueue作為內存任務隊列，不支持分布式，示例代碼
import feapder
class AirSpiderDemo(feapder.AirSpider):
def start_requests(self):
yield feapder.Request("https://www.baidu.com")
def parse(self, request, response):
print(response)
if __name__ == "__main__":
AirSpiderDemo().start()
2. Spider
分布式爬蟲，支持啟多份，爬蟲意外終止，重啟后會斷點續(xù)爬
import feapder
class SpiderDemo(feapder.Spider):
# 自定義數(shù)據(jù)庫，若項目中有setting.py文件，此自定義可刪除
__custom_setting__ = dict(
REDISDB_IP_PORTS="localhost:6379", REDISDB_USER_PASS="", REDISDB_DB=0
)
def start_requests(self):
yield feapder.Request("https://www.baidu.com")
def parse(self, request, response):
print(response)
if __name__ == "__main__":
SpiderDemo(redis_key="xxx:xxx").start()
3. BatchSpider
批次爬蟲，擁有分布式爬蟲所有特性，支持分布式
import feapder
class BatchSpiderDemo(feapder.BatchSpider):
# 自定義數(shù)據(jù)庫，若項目中有setting.py文件，此自定義可刪除
__custom_setting__ = dict(
REDISDB_IP_PORTS="localhost:6379",
REDISDB_USER_PASS="",
REDISDB_DB=0,
MYSQL_IP="localhost",
MYSQL_PORT=3306,
MYSQL_DB="feapder",
MYSQL_USER_NAME="feapder",
MYSQL_USER_PASS="feapder123",
)
def start_requests(self, task):
yield feapder.Request("https://www.baidu.com")
def parse(self, request, response):
print(response)
if __name__ == "__main__":
spider = BatchSpiderDemo(
redis_key="xxx:xxxx", # redis中存放任務等信息的根key
task_table="", # mysql中的任務表
task_keys=["id", "xxx"], # 需要獲取任務表里的字段名，可添加多個
task_state="state", # mysql中任務狀態(tài)字段
batch_record_table="xxx_batch_record", # mysql中的批次記錄表
batch_name="xxx", # 批次名字
batch_interval=7, # 批次周期 天為單位 若為小時 可寫 1 / 24
)
# spider.start_monitor_task() # 下發(fā)及監(jiān)控任務
spider.start() # 采集
任務調度過程：
從mysql中批量取出一批種子任務 下發(fā)到爬蟲 爬蟲獲取到種子任務后，調度到start_requests，拼接實際的請求，下發(fā)到redis 爬蟲從redis中獲取到任務，調用解析函數(shù)解析數(shù)據(jù) 子鏈接入redis，數(shù)據(jù)入庫 種子任務完成，更新種子任務狀態(tài) 若redis中任務量過少，則繼續(xù)從mysql中批量取出一批未做的種子任務下發(fā)到爬蟲
封裝了批次（周期）采集的邏輯，如我們指定7天一個批次，那么如果爬蟲3天就將任務做完，爬蟲重啟也不會重復采集，而是等到第7天之后啟動的時候才會采集下一批次。
同時批次爬蟲會預估采集速度，若按照當前速度在指定的時間內采集不完，會發(fā)出報警
feapder項目結構
上述的三種爬蟲例子修改配置后可以直接運行，但對于大型項目，可能會有就好多爬蟲組成。feapder支持創(chuàng)建項目，項目結構如下：
main.py 為啟動入口
feapder部署
feapder有對應的管理平臺feaplat，當然這個管理平臺也支持部署其他腳本
在任務列表里配置啟動命令，調度周期以及爬蟲數(shù)等。爬蟲數(shù)這個對于分布式爬蟲是非常爽的，可一鍵啟動幾十上百份爬蟲，再也不需要一個個部署了
-w1791 任務啟動后，可看到實例及實時日志
-w1785 爬蟲監(jiān)控面板可實時看到爬蟲運行情況，監(jiān)控數(shù)據(jù)保留半年，滾動刪除
采集效率測試
請求百度1萬次，線程都開到300，測試耗時
scrapy：
class BaiduSpider(scrapy.Spider):
name = 'baidu'
allowed_domains = ['baidu.com']
start_urls = ['https://baidu.com/'] * 10000
def parse(self, response):
print(response)
結果
{'downloader/request_bytes': 4668123,
'downloader/request_count': 20002,
'downloader/request_method_count/GET': 20002,
'downloader/response_bytes': 17766922,
'downloader/response_count': 20002,
'downloader/response_status_count/200': 10000,
'downloader/response_status_count/302': 10002,
'finish_reason': 'finished',
'finish_time': datetime.datetime(2021, 9, 13, 12, 22, 26, 638611),
'log_count/DEBUG': 20003,
'log_count/INFO': 9,
'memusage/max': 74240000,
'memusage/startup': 58974208,
'response_received_count': 10000,
'scheduler/dequeued': 20002,
'scheduler/dequeued/memory': 20002,
'scheduler/enqueued': 20002,
'scheduler/enqueued/memory': 20002,
'start_time': datetime.datetime(2021, 9, 13, 12, 19, 58, 489472)}
耗時：148.149139秒
feapder:
import feapder
import time
class AirSpiderDemo(feapder.AirSpider):
def start_requests(self):
for i in range(10000):
yield feapder.Request("https://www.baidu.com")
def parse(self, request, response):
print(response)
def start_callback(self):
self.start_time = time.time()
def end_callback(self):
print("耗時：{}".format(time.time() - self.start_time))
if __name__ == "__main__":
AirSpiderDemo(thread_count=300).start()
結果：耗時：136.10122799873352
總結
本文主要分析了scrapy及scrapy-redis的痛點以及feapder是如何解決的，當然scrapy也有優(yōu)點，比如社區(qū)活躍、中間件靈活等。但在保證數(shù)據(jù)及任務不丟的場景，報警監(jiān)控等場景feapder完勝scrapy。并且feapder是基于實際業(yè)務，做過大大小小100多個項目，耗時5年打磨出來的，因此可滿足絕大多數(shù)爬蟲需求
效率方面，請求百度1萬次，同為300線程的情況下，feapder耗時136秒，scrapy耗時148秒，算上網絡的波動，其實效率差不多。
feapder爬蟲文檔：https://boris-code.gitee.io/feapder/#/
feaplat管理平臺：https://boris-code.gitee.io/feapder/#/feapder_platform/%E7%88%AC%E8%99%AB%E7%AE%A1%E7%90%86%E7%B3%BB%E7%BB%9F
爬蟲管理系統(tǒng)不僅支持
feapder、scrapy，且支持執(zhí)行任何腳本，可以把該系統(tǒng)理解成腳本托管的平臺 。支持集群
工作節(jié)點根據(jù)配置定時啟動，執(zhí)行完釋放，不常駐
一個worker內只運行一個爬蟲，worker彼此之間隔離，互不影響。
支持管理員和普通用戶兩種角色
可自定義爬蟲端鏡像