程序員的成長(zhǎng)之路

互聯(lián)網(wǎng)/程序員/技術(shù)/資料共享?

閱讀本文大概需要 7 分鐘。

英文原文：How to run a load test of 50k+ concurrent users

參與翻譯: LeoXu, 麥殼原野

前言

• 步驟1 : 編寫(xiě)你的腳本

• 步驟2 : 使用JMeter進(jìn)行本地測(cè)試

• 步驟3 : BlazeMeter沙箱測(cè)試

• 步驟4 : 使用1個(gè)控制臺(tái)和1個(gè)引擎來(lái)設(shè)置每個(gè)引擎用戶的數(shù)量

• 步驟5：安裝并測(cè)試集群

• 步驟 6 : 使用 Master / Slave 特性來(lái)達(dá)成你的最大CC目標(biāo)

本文將從負(fù)載測(cè)試的角度，描述了做一次流暢的5萬(wàn)用戶并發(fā)測(cè)試需要做的事情.

你可以在本文的結(jié)尾部分看到討論的記錄.

快速的步驟概要

• 編寫(xiě)你的腳本

• 使用JMeter進(jìn)行本地測(cè)試

• BlazeMeter沙箱測(cè)試

• 使用一個(gè)控制臺(tái)和一個(gè)引擎設(shè)置Users-per-Engine的數(shù)量

• 設(shè)置并測(cè)試你的集合 (1個(gè)控制臺(tái)和10-14 引擎)

• 使用 Master / Slave 特性來(lái)達(dá)成你的最大CC目標(biāo)

步驟1 : 編寫(xiě)你的腳本

開(kāi)始之前，請(qǐng)確定從JMeter的Apache社區(qū)jmeter.apache.org?獲得了最新的版本.

你也會(huì)要下載這些附加的插件 ，因?yàn)樗鼈兛梢宰屇愕墓ぷ鞲p松.

有許多方法可以獲得腳本:

• 使用 BlazeMeter 的 Chrome 擴(kuò)展 來(lái)記錄你的方案

• 使用 JMeter HTTP(S) 測(cè)試腳本記錄器 來(lái)設(shè)置一個(gè)代理，那樣你就可以運(yùn)行你的測(cè)試并記錄下所有的東西

• 從頭開(kāi)始全部手工構(gòu)建(可能是功能/QA測(cè)試)

如果你的腳本是一份記錄的結(jié)果(像步驟1&2), 請(qǐng)牢記:

• 你需要改變諸如Username & Password這樣的特定參數(shù)，或者你也許會(huì)想要設(shè)置一個(gè)CSV文件，有了里面的值每個(gè)用戶就可以是不同的.

• 為了完成諸如“添加到購(gòu)物車(chē)”，“登錄”還有其它這樣的請(qǐng)求，你也許要使用正則表達(dá)式，JSON路徑提取器，XPath提取器，來(lái)提取諸如Token字符串，表單構(gòu)建ID還有其它要素

• 保持你的腳本參數(shù)化，并使用配置元素，諸如默認(rèn)HTTP請(qǐng)求，來(lái)使得在環(huán)境之間切換時(shí)你的工作更輕松.

步驟2 : 使用JMeter進(jìn)行本地測(cè)試

在1個(gè)線程的1個(gè)迭代中使用查看結(jié)果樹(shù)要素，調(diào)試樣本，虛擬樣本還有打開(kāi)的日志查看器（一些JMeter的錯(cuò)誤會(huì)在里面報(bào)告），來(lái)調(diào)試你的腳本.

遍歷所有的場(chǎng)景(包括True 或者 False的回應(yīng)) 來(lái)確保腳本行為確如預(yù)期…

在成功使用一個(gè)線程測(cè)試之后——將其提高到10分鐘10到20個(gè)線程繼續(xù)測(cè)試:

• 如果你想要每個(gè)用戶獨(dú)立——是那樣的么?

• 有沒(méi)有收到錯(cuò)誤?

• 如果你在做一個(gè)注冊(cè)過(guò)程，那就看看你的后臺(tái) - 賬戶是不是照你的模板創(chuàng)建好了? 它們是不是獨(dú)立的呢?

• 從總結(jié)報(bào)告中，你可以看到對(duì)測(cè)試的統(tǒng)計(jì) - 它們有點(diǎn)用么? (平均響應(yīng)時(shí)間, 錯(cuò)誤, 每秒命中率)

一旦你準(zhǔn)備好了腳本:

• 通過(guò)移除任何調(diào)試和虛擬樣本來(lái)清理腳本，并刪除你的腳本偵聽(tīng)器

• 如果你使用了偵聽(tīng)器(諸如 "將響應(yīng)保存到一個(gè)文件")，請(qǐng)確保你沒(méi)有使用任何路徑! , 而如果他是一個(gè)偵聽(tīng)器或者一個(gè)CSV數(shù)據(jù)集配置——請(qǐng)確保你沒(méi)有使用你在本地使用的路徑 - 而只要文件名(就好像跟你的腳本在同一個(gè)文件夾)

• 如果你使用了自己專有的JAR文件，請(qǐng)確保它也被上傳了.

• 如果你使用了超過(guò)一個(gè)線程組（不是默認(rèn)的那個(gè)) - 請(qǐng)確保在將其上傳到BlazeMeter之前設(shè)置了這個(gè)值.

步驟3 : BlazeMeter沙箱測(cè)試

如果那時(shí)你的第一個(gè)測(cè)試——你應(yīng)該溫習(xí)一下 這篇 有關(guān)如何在BlazeMeter中創(chuàng)建測(cè)試的文章.

將沙箱的測(cè)試配置設(shè)置成，用戶300，1個(gè)控制臺(tái), 時(shí)間50分鐘.

對(duì)沙箱進(jìn)行這樣的配置讓你可以在后臺(tái)測(cè)試你的腳本，并確保上的BlazeMeter的一切都運(yùn)行完好

為此，先按下灰色的按鈕: 告訴JMeter引擎我想要完全控制! - 來(lái)獲得對(duì)你的測(cè)試參數(shù)的完全控制

通常你將會(huì)遇到的問(wèn)題:

• 防火墻 - 確保你的環(huán)境對(duì)BlazeMeter的CIDR 列表 (它們會(huì)實(shí)時(shí)更新)開(kāi)發(fā)，并把它們放入白名單中

• 確保你所有的測(cè)試文件, 比如: CSVs, JAR, JSON, User.properties 等等.. 都可以使用

• 確保你沒(méi)有使用任何路徑

如果仍然有問(wèn)題，那就看看錯(cuò)誤日志吧(你應(yīng)該可以把整個(gè)日志都下載下來(lái)).

一個(gè)沙箱的配置可以是這樣的:

• 引擎: 是能使控制臺(tái)(1 個(gè)控制臺(tái) , 0 個(gè)引擎)

• 線程: 50-300

• 產(chǎn)能提升: 20 分鐘

• 迭代: 一直測(cè)試下去

• 時(shí)間: 30-50 分鐘

這可以讓你在產(chǎn)能提升期間獲得足夠多的數(shù)據(jù)(以防你遇到問(wèn)題) ，而你將可以對(duì)結(jié)果進(jìn)行分析，以確保腳本的執(zhí)行確如預(yù)期.

你應(yīng)該觀察下Waterfall / WebDriver 選項(xiàng)卡來(lái)看看請(qǐng)求是否正常，你不應(yīng)該在這一點(diǎn)上出任何問(wèn)題（除非你是故意的).

你應(yīng)該盯著監(jiān)控選項(xiàng)卡，觀察期內(nèi)存和CPU消耗 - 這對(duì)你在步驟4中嘗試設(shè)置每一個(gè)引擎的用戶數(shù)量.

步驟4 : 使用1個(gè)控制臺(tái)和1個(gè)引擎來(lái)設(shè)置每個(gè)引擎用戶的數(shù)量

現(xiàn)在我們可以肯定腳本能在BlazeMeter中完美運(yùn)行了——我們需要計(jì)算出要多少用戶放到一個(gè)引擎中.

如果你能用戶沙箱中的數(shù)據(jù)來(lái)做這個(gè)決定，那就太棒了!

在這里，我會(huì)給出一種不用回頭去查看沙箱測(cè)試數(shù)據(jù)就能計(jì)算出這個(gè)數(shù)的方法.

設(shè)置你的測(cè)試配置:

• 線程數(shù): 500

• 產(chǎn)能提升：40 分鐘

• 迭代: 永久

• 時(shí)長(zhǎng): 50 分鐘

使用一個(gè)控制臺(tái)和一個(gè)引擎.

運(yùn)行測(cè)試并(通過(guò)監(jiān)視選項(xiàng)卡)對(duì)你的測(cè)試引擎進(jìn)行監(jiān)視.

如果你的引擎對(duì)于75%的CPI使用率和85%的內(nèi)存使用率都沒(méi)有達(dá)到(一次性的峰值可以忽略) 的話:

• 將線程數(shù)調(diào)整到700在測(cè)試一次

• 提交線程的數(shù)量直到線程數(shù)達(dá)到1000或者60%的CPU或內(nèi)存使用

如果你的引擎過(guò)了75%的CPU使用率或者85%的內(nèi)存使用率(一次性的峰值可以忽略 :

• 看看你第一次達(dá)到75%的點(diǎn)，在那個(gè)點(diǎn)有多少并發(fā)用戶.

• 在運(yùn)行一次測(cè)試, 而不是提高你之前500個(gè)用戶數(shù)量的產(chǎn)能

• 這一次將產(chǎn)能提升放到真實(shí)的測(cè)試中(5-15 分鐘是一個(gè)好的開(kāi)始) 并將時(shí)長(zhǎng)設(shè)置為50分鐘.

• 確保整個(gè)測(cè)試過(guò)程中沒(méi)有超過(guò)75%的CPU使用率或者85%的內(nèi)存使用率…

為安全起見(jiàn)，你可以把每個(gè)引擎的線程數(shù)降低10%的.

步驟5：安裝并測(cè)試集群

我們現(xiàn)在知道了從一個(gè)引擎中我們得到了多少線程，在該章節(jié)的最后，我們將會(huì)知道一個(gè)集群能給我們提供多少用戶。

一個(gè)集群是指具有一個(gè)控制臺(tái)（僅有一個(gè)）和0-14個(gè)引擎的邏輯容器。

即使你可以創(chuàng)建一個(gè)使用超過(guò)14個(gè)引擎的測(cè)試案例——但實(shí)際上是創(chuàng)建了兩個(gè)集群（你可以注意到控制臺(tái)的數(shù)量增加了），并且克隆了你的測(cè)試案例……

每個(gè)集群具有最多14個(gè)引擎，是基于BlazeMeter自己本身的測(cè)試，以確保控制臺(tái)可以控制這14臺(tái)引擎對(duì)新建的大量數(shù)據(jù)處理的壓力。

所以在這一步驟中，我們會(huì)用步驟4種的測(cè)試，并且僅僅修改引擎數(shù)量，將其增加到14.

將該測(cè)試按照最終測(cè)試的全部時(shí)長(zhǎng)運(yùn)行。當(dāng)測(cè)試在運(yùn)行時(shí)，打開(kāi)監(jiān)聽(tīng)標(biāo)簽，并且檢驗(yàn)：

• 沒(méi)有一個(gè)引擎超過(guò)CPU75%的占有率和內(nèi)存85%占有率的上限；

• 定位你的控制臺(tái)標(biāo)簽（你可以通過(guò)一次點(diǎn)擊Logs Tab->Network Information，查看控制臺(tái)私有IP地址來(lái)找到它的名字）——它不應(yīng)該達(dá)到CPU75%占有率和內(nèi)存85%占有率的上限。

如果你的控制臺(tái)達(dá)到了該上限——減少引擎數(shù)量并重新運(yùn)行直到控制臺(tái)在該上限之下。

在這個(gè)步驟的最后，你會(huì)發(fā)現(xiàn)：

• 每個(gè)集群的用戶數(shù)量；

• 每個(gè)集群的命中率。

查看Aggretate Table中的其他統(tǒng)計(jì)信息，并找到本地結(jié)果統(tǒng)計(jì)圖來(lái)獲得有關(guān)你集群吞吐量的更多信息。

步驟 6 : 使用 Master / Slave 特性來(lái)達(dá)成你的最大CC目標(biāo)

我們到了最后一步了。

我們知道腳本正在運(yùn)行，我們也知道一個(gè)引擎可以支持多少用戶以及一個(gè)集群可以支持多少用戶。

讓我們做一下假設(shè)：

• 一個(gè)引擎支持500用戶

• 一個(gè)集群可以用戶12個(gè)引擎

• 我們的目標(biāo)是5萬(wàn)用戶測(cè)試

因此為了完成這些，我們需要8.3 個(gè)集群..

我們可以用8個(gè)12臺(tái)引擎的集群和一個(gè)4太引擎的集群 - 但是像下面這樣分散負(fù)載應(yīng)該會(huì)更好：

每個(gè)集群我們用10臺(tái)引擎而不是12，那么每個(gè)集群可以支持 10*500 = 5K 用戶并且我們需要10個(gè)集群來(lái)支持5萬(wàn)用戶。

這樣可以得到如下好處：

• 不用維護(hù)兩個(gè)不同的測(cè)試類型

• 我們可以通過(guò)簡(jiǎn)單的復(fù)制現(xiàn)有集群來(lái)增加5K用戶（5K比6K更常見(jiàn)）

• 只要需要我們可以一直增加

現(xiàn)在，我們已經(jīng)準(zhǔn)備好創(chuàng)建最終的5萬(wàn)用戶級(jí)別的Master / Slave測(cè)試了：

• 將測(cè)試的名稱從"My prod test" 改為"My prod test - slave 1"。

• 我們回到步驟5，將高級(jí)測(cè)試屬性(Advanced Test Properties)下的Standalone修改為Slave。

• 按保存按鈕——現(xiàn)在我們有了一個(gè)Master和9個(gè)Slave中的一個(gè)。

• 返回你的 "My prod test -slave 1".

• 按復(fù)制按鈕

• 接下來(lái)重復(fù)步驟1-5直到你創(chuàng)建了9個(gè)slave。

• 回到你的 "My prod test -salve 9" 并按復(fù)制按鈕.

• 將測(cè)試的名稱改為 "My prod test -Master".

• 將高級(jí)測(cè)試屬性(Advanced Test Properties) 下的Slave改為Master。

• 檢查我們剛才創(chuàng)建的所有的Slave(My prod test -salve 1..9)并按保存。

你的5萬(wàn)用戶級(jí)別的Master-Slave測(cè)試已經(jīng)準(zhǔn)備好了。通過(guò)按master上的開(kāi)始按鈕來(lái)運(yùn)行10個(gè)測(cè)試，每個(gè)測(cè)試5千用戶。

你可以修改任意一個(gè)測(cè)試（salve或master），讓它們來(lái)自不同的區(qū)域，有不同的腳本/csv/以及其他文件，使用不同的網(wǎng)絡(luò)模擬器，不同的參數(shù)等。

你可以在一個(gè)叫“Master load results”的master報(bào)告中的一個(gè)新tab頁(yè)中找到生成的聚合結(jié)果的報(bào)告，你還可以通過(guò)打開(kāi)單個(gè)的報(bào)告來(lái)獨(dú)立的查看每一個(gè)測(cè)試結(jié)果。

公眾號(hào)最新導(dǎo)航欄

推薦閱讀：

PanDownload復(fù)活了！60MB/s！

Spring Boot 整合 Quartz 實(shí)現(xiàn) Java 定時(shí)任務(wù)的動(dòng)態(tài)配置

5T技術(shù)資源大放送！包括但不限于：C/C++，Linux，Python，Java，PHP，人工智能，單片機(jī)，樹(shù)莓派，等等。在公眾號(hào)內(nèi)回復(fù)「2048」，即可免費(fèi)獲?。。?/span>

微信掃描二維碼，關(guān)注我的公眾號(hào)

朕已閱?