SpiderGirlsJAVA搜索引擎爬取框架
SpiderGirls 是使用java編寫的一個(gè)開源軟件,使用它用戶可以輕松地獲得某個(gè)給定的關(guān)鍵字下的搜索引擎的結(jié)果,現(xiàn)在支持bing搜索和sogou搜索。
主頁:
https://github.com/hfut-dmic-spidertools/spidergirls
接口介紹:
Search.search(String keyword, String engineName, String pageCount);
其中keyword代表在搜索引擎上獲取結(jié)果的關(guān)鍵字,如"computer","中國(guó)"等等,engineName代表所需要使用的搜索引擎,現(xiàn)在支持bing和sogou,缺省情況下默認(rèn)是bing搜索,pageCount指的是搜索結(jié)果的的頁數(shù),一般搜索引擎的結(jié)果每頁是十條結(jié)果則總的結(jié)果數(shù)是10乘以頁數(shù)pageCount。
實(shí)例代碼:
public static void main(String args[]) throws Exception {
//獲取Bing搜索引擎的搜索關(guān)鍵詞computer的兩頁結(jié)果
SearchItems items = Search.search("computer", "bing", 2);
//輸出從搜索引擎上獲取的結(jié)果
System.out.println("results\n:" + items);
}
評(píng)論
圖片
表情
