百度云分享爬蟲
百度云分享爬蟲項(xiàng)目
github上有好幾個(gè)這樣的開源項(xiàng)目,但是都只提供了爬蟲部分,這個(gè)項(xiàng)目在爬蟲的基礎(chǔ)上還增加了保存數(shù)據(jù),建立elasticsearch索引的模塊,可以用在實(shí)際生產(chǎn)環(huán)境中,不過web模塊還是需要自己開發(fā)
安裝
安裝node.js和pm2,node用來(lái)運(yùn)行爬蟲程序和索引程序,pm2用來(lái)管理node任務(wù)
安裝mysql和mongodb,mysql用來(lái)保存爬蟲數(shù)據(jù),mongodb用來(lái)保存最終的百度云分享數(shù)據(jù),這些數(shù)據(jù)是json格式的,用mongodb保存更方便。
git clone https://github.com/callmelanmao/yunshare cnpm i
推薦使用cnpm命令安裝npm依賴,最簡(jiǎn)單的安裝方式
$ npm install -g cnpm --registry=https://registry.npm.taobao.org
更多安裝cnpm的命令可以去npm.taobao.org上面找。
初始化
爬蟲數(shù)據(jù)(主要是url列表)都是保存在mysql數(shù)據(jù)庫(kù)的,yunshare使用sequelizejs做orm映射,源文件在src/models/index.js,默認(rèn)的mysql用戶名和密碼都是root,數(shù)據(jù)看是yun,你需要手動(dòng)創(chuàng)建yun數(shù)據(jù)庫(kù)
create database yun default charset utf8
密碼根據(jù)自己需要進(jìn)行修改,完成mysql配置之后就可以運(yùn)行下面的命令
gulp babel node dist/init.js
注意必須先運(yùn)行g(shù)ulp babel把es6代碼編譯成es5,然后運(yùn)行初始化腳本導(dǎo)入初始數(shù)據(jù),數(shù)據(jù)文件在data/hot.json,里面,是從頁(yè)面 http://yun.baidu.com/pcloud/friend/gethotuserlist?type=1&from=feed&start=0&limit=24&bdstoken=ac95ef31d3979f6ee707ef75cee9f5c5&clienttype=0&web=1 保存下來(lái)的。
啟動(dòng)項(xiàng)目
yunshare使用pm2進(jìn)行nodejs進(jìn)程管理,運(yùn)行pm2 start process.json啟動(dòng)所有的后臺(tái)任務(wù),檢查任務(wù)是否正常運(yùn)行可以用命令pm2 list,正常運(yùn)行的應(yīng)該有4個(gè)任務(wù)。
啟動(dòng)elasticsearch索引
elasticsearch索引程序也已經(jīng)寫好了,mapping文件在data/mapping.json,請(qǐng)確保你已經(jīng)安裝elasticsearch 5.0的版本之后才運(yùn)行索引程序,命令pm2 start dist/elastic.js。
默認(rèn)的elasticsearch地址是http://localhost:9200,如果你需要修改這個(gè)地址,可以在src/ElasticWorker.js里面修改,修改任何js源碼之后記得運(yùn)行g(shù)ulp babel,在重啟pm2任務(wù),不然修改是不會(huì)生效的。
在完成elasticsearch配置之后,你也可以在process.json里面添加一項(xiàng)elastic任務(wù),這樣就不需要單獨(dú)啟動(dòng)索引程序了。
