HTQ用 HTTP 方式執(zhí)行異步任務(wù)

一、什么是 HTQ

先介紹下基本概念。

我們?cè)诰帉懗绦驎r(shí)，偶爾會(huì)遇到需要用到異步隊(duì)列的情況。比如說(shuō)，我發(fā)送一萬(wàn)封郵件，如果單純使用一個(gè)for循環(huán)來(lái)發(fā)送，則執(zhí)行時(shí)間要很長(zhǎng)，要等很久才能發(fā)完，同時(shí)很容易導(dǎo)致阻塞、超時(shí)等問(wèn)題。當(dāng)郵件更多，比如一百萬(wàn)封的時(shí)候，問(wèn)題會(huì)更加明顯。這時(shí)最好的解決方案就是把這十萬(wàn)封郵件排隊(duì)，一一發(fā)出去。這就是任務(wù)隊(duì)列的概念。

并且，我們并不需要等到十萬(wàn)封郵件都發(fā)送完畢后才在網(wǎng)站前臺(tái)通知用戶。我們可以把郵件一入隊(duì)列，就通知用戶。這樣，用戶等待的時(shí)間就不是漫長(zhǎng)的“發(fā)十萬(wàn)封郵件”的時(shí)間，而是“把十萬(wàn)封郵件排隊(duì)”的時(shí)間。因此能明顯地縮短了用戶等待時(shí)間。這就是異步的概念。

HTQ ，全稱 Http Task Queue ，是一個(gè)以Http方式執(zhí)行異步任務(wù)的隊(duì)列服務(wù)。你可以推送若干url進(jìn)HTQ隊(duì)列,HTQ會(huì)以Http GET 的方式訪問(wèn)這些url。如果url所在的腳本寫上各種具體的任務(wù)操作，如發(fā)送郵件等，便可以實(shí)現(xiàn)異步操作了。HTQ使用node.js編寫，可跟各種后臺(tái)語(yǔ)言如PHP、java配合使用以增強(qiáng)異步處理能力。目前支持的隊(duì)列類型有實(shí)時(shí)異步隊(duì)列、定時(shí)異步隊(duì)列、可變異步隊(duì)列。

如果你依然對(duì)HTQ陌生，則可往下看詳細(xì)的應(yīng)用場(chǎng)景以加深了解。

二、應(yīng)用場(chǎng)景

1、實(shí)時(shí)異步隊(duì)列

所謂實(shí)時(shí)，指的是把任務(wù)一推進(jìn)隊(duì)列就馬上執(zhí)行。一個(gè)典型的應(yīng)用場(chǎng)景就是我們上面所說(shuō)的發(fā)送郵件。郵件推送進(jìn)任務(wù)隊(duì)列，隊(duì)列馬上把它發(fā)出去。如果它推進(jìn)隊(duì)列后有其他郵件正在發(fā)送中，它則等待當(dāng)前郵件發(fā)送完畢后才發(fā)送。

除了發(fā)郵件，我們?cè)诎l(fā)文章、發(fā)微博、發(fā)評(píng)論的時(shí)候都可以用得上HTQ的實(shí)時(shí)任務(wù)隊(duì)列，尤其是數(shù)量非常大的時(shí)候。比如評(píng)論用戶太多，如果一瞬間讓服務(wù)器處理，服務(wù)器可能因?yàn)橹尾涣颂叩牟l(fā)從而造成阻塞。這個(gè)時(shí)候就可以讓評(píng)論們進(jìn)入隊(duì)列再一一處理。

2、定時(shí)異步隊(duì)列

定時(shí)，顧名思義，就是在特定的時(shí)間執(zhí)行任務(wù)隊(duì)列。這種隊(duì)列服務(wù)可用于定時(shí)郵件、定時(shí)短信。需要說(shuō)明的是，這里的定時(shí)，不一定是精準(zhǔn)的定時(shí)。假如你設(shè)置了明天12點(diǎn)執(zhí)行某個(gè)任務(wù)，那么，它在明天12點(diǎn)的時(shí)候?qū)⑦M(jìn)入隊(duì)列。假如隊(duì)列中已經(jīng)有任務(wù)在執(zhí)行，那么它會(huì)等待到前面的任務(wù)完畢才執(zhí)行。此時(shí)可能是12點(diǎn)01分鐘才執(zhí)行。

3、可變隊(duì)列

我們推送10個(gè)任務(wù)進(jìn)隊(duì)列，這10個(gè)隊(duì)列會(huì)反復(fù)循環(huán)地執(zhí)行，并且它們的執(zhí)行快慢能夠根據(jù)返回情況進(jìn)行調(diào)整，這就是可變隊(duì)列。比如，我們做掃描監(jiān)控，會(huì)反復(fù)地執(zhí)行“掃描”這個(gè)任務(wù)。我們希望，在有異常情況的時(shí)候，能加快掃描的速度以便更快速地發(fā)現(xiàn)問(wèn)題；而在沒(méi)有長(zhǎng)期異常的情況能減慢一下掃描速度以節(jié)省機(jī)器資源。

再舉一個(gè)場(chǎng)景例子，通過(guò)API拉取微博新動(dòng)態(tài)。我們網(wǎng)站上有10萬(wàn)綁定了新浪微博的用戶，我們需要時(shí)常獲取他們的最新動(dòng)態(tài)以展示在我們的網(wǎng)站的用戶主頁(yè)上。 如果是采用定時(shí)獲取動(dòng)態(tài)的方式，那么，假設(shè)1分鐘能獲取1千個(gè)用戶的動(dòng)態(tài)（因?yàn)槭蹵PI使用頻率和網(wǎng)絡(luò)等原因限制，我們獲取不了太快。這里先假設(shè)一個(gè)數(shù)字），那么，獲取完所有用戶狀態(tài)需要100分鐘。對(duì)用戶來(lái)說(shuō)，他在微博更新動(dòng)態(tài)后，100分鐘后才顯示到我們網(wǎng)站。這明顯滯后太多。有沒(méi)有辦法加快點(diǎn)呢？此時(shí)可以使用HTQ的可變隊(duì)列?？勺冴?duì)列會(huì)對(duì)長(zhǎng)期沒(méi)有更新動(dòng)態(tài)的那部分不活躍用戶進(jìn)行減緩速度，減緩對(duì)他們微博的獲取頻率，同時(shí)加大對(duì)活躍用戶的獲取頻率。這樣，一個(gè)活躍用戶更新微博后，可能10分鐘就能同步到我們網(wǎng)站了。對(duì)于不活躍用戶，可能獲取時(shí)間會(huì)變長(zhǎng)了些，但不要緊，我們?cè)敢夥峙涓嗟馁Y源去滿足活躍用戶的需求。

使用可變隊(duì)列，能讓我們有所側(cè)重地使用我們的資源，以減少浪費(fèi)、增加利用率。

三、安裝和使用

1、安裝

首先安裝好node環(huán)境和redis服務(wù)，請(qǐng)參考這里和這里。

下載到你想要放置的目錄，命令行進(jìn)入該目錄，執(zhí)行命令：

npm install

安裝完畢后，執(zhí)行以下命令啟動(dòng)：

node htq.js

上面這種啟動(dòng)方式是臨時(shí)運(yùn)行的，關(guān)閉命令行窗口就會(huì)停止了。如果想一直在后臺(tái)運(yùn)行，則可：

nohup node htq.js > ~/htq.log 2>&1 &

如果想關(guān)閉退出，可運(yùn)行：

killall -9 node

2、如何使用

啟動(dòng)后，HTQ默認(rèn)監(jiān)聽本機(jī)的5999端口。你可以通過(guò)此端口訪問(wèn)HTQ的APi，以添加隊(duì)列和任務(wù)。詳細(xì)的API文檔

你可以根據(jù)API文檔來(lái)在你的項(xiàng)目中調(diào)用API以新建任務(wù)。官方提供了一個(gè)PHP調(diào)用的SDK（在/PHPSDK目錄）。歡迎其他語(yǔ)言的開發(fā)者也將HTQ的API封裝成其他語(yǔ)言的SDK

如果要修改默認(rèn)端口以及默認(rèn)的redis地址，可修改配置文件config.json。修改完畢需重啟HTQ才能生效

四、安全與容錯(cuò)

1、程序安全

訪問(wèn)HTQ 的API時(shí)需要填寫簡(jiǎn)單的token認(rèn)證，認(rèn)證信息在配置文件config.json里定義。為了安全起見，你可以在下載代碼將token設(shè)置為其他隨機(jī)數(shù)。如果你已經(jīng)啟動(dòng)了HTQ，則需要關(guān)閉后再重啟才能讓新配置生效。

如果你擔(dān)心直接執(zhí)行url會(huì)帶來(lái)安全隱患，怕自己暴露的url被外部訪問(wèn)，那你可以在推送進(jìn)HTQ的url上帶參數(shù)簽名校驗(yàn)。然后在url觸發(fā)的任務(wù)腳本里檢驗(yàn)簽名即可。

2、數(shù)據(jù)安全

HTQ使用redis來(lái)儲(chǔ)存隊(duì)列。Redis自身帶有持久化功能。如另外需要對(duì)數(shù)據(jù)進(jìn)行備份，則備份redis即可，不用在業(yè)務(wù)中實(shí)現(xiàn)數(shù)據(jù)備份。

3、正確性

HTQ能執(zhí)行url，但不能保證業(yè)務(wù)上的正確。比如說(shuō)HTQ確實(shí)是觸發(fā)了發(fā)文章的腳本，然而這個(gè)腳步可能自身因?yàn)榫W(wǎng)絡(luò)原因發(fā)布文章失敗。此時(shí)應(yīng)該在業(yè)務(wù)層做好相應(yīng)的容錯(cuò)處理，比如讓該url重新入隊(duì)列。