国产秋霞理论久久久电影-婷婷色九月综合激情丁香-欧美在线观看乱妇视频-精品国avA久久久久久久-国产乱码精品一区二区三区亚洲人-欧美熟妇一区二区三区蜜桃视频

從零開始掌握 HAProxy 負(fù)載均衡器

共 17711字,需瀏覽 36分鐘

 ·

2021-07-03 14:11

點擊“程序員面試吧”,選擇“星標(biāo)??”

下拉至文末”查看更多

HAProxy是什么


HAProxy 是一個免費的負(fù)載均衡軟件,可以運行于大部分主流的 Linux 操作系統(tǒng)上。

HAProxy 提供了L4(TCP)和L7(HTTP)兩種負(fù)載均衡能力,具備豐富的功能。

HAProxy 的社區(qū)非?;钴S,版本更新快速(最新穩(wěn)定版1.7.2于2017/01/13推出)。最關(guān)鍵的是,HAProxy 具備媲美商用負(fù)載均衡器的性能和穩(wěn)定性。
因為 HAProxy 的上述優(yōu)點,它當(dāng)前不僅僅是免費負(fù)載均衡軟件的首選,更幾乎成為了唯一選擇。

HAProxy 的核心功能


  • 負(fù)載均衡:L4和L7兩種模式,支持RR/靜態(tài)RR/LC/IP Hash/URI Hash/URL_PARAM Hash/HTTP_HEADER Hash 等豐富的負(fù)載均衡算法

  • 健康檢查:支持TCP和HTTP兩種健康檢查模式

  • 會話保持:對于未實現(xiàn)會話共享的應(yīng)用集群,可通過 Insert Cookie/Rewrite Cookie/Prefix Cookie,以及上述的多種 Hash 方式實現(xiàn)會話保持

  • SSL:HAProxy 可以解析 HTTPS 協(xié)議,并能夠?qū)⒄埱蠼饷転?HTTP 后向后端傳輸

  • HTTP 請求重寫與重定向

  • 監(jiān)控與統(tǒng)計:HAProxy 提供了基于 Web 的統(tǒng)計信息頁面,展現(xiàn)健康狀態(tài)和流量數(shù)據(jù)?;诖斯δ?,使用者可以開發(fā)監(jiān)控程序來監(jiān)控 HAProxy 的狀態(tài)

HAProxy的關(guān)鍵特性

性能

  • 采用單線程、事件驅(qū)動、非阻塞模型,減少上下文切換的消耗,能在1ms內(nèi)處理數(shù)百個請求。并且每個會話只占用數(shù)KB的內(nèi)存。

  • 大量精細的性能優(yōu)化,如O(1)復(fù)雜度的事件檢查器、延遲更新技術(shù)、Single-buffereing、Zero-copy forwarding等等,這些技術(shù)使得HAProxy在中等負(fù)載下只占用極低的CPU資源。

  • HAProxy大量利用操作系統(tǒng)本身的功能特性,使得其在處理請求時能發(fā)揮極高的性能,通常情況下,HAProxy自身只占用15%的處理時間,剩余的85%都是在系統(tǒng)內(nèi)核層完成的。

  • HAProxy作者在8年前(2009)年使用1.4版本進行了一次測試,單個HAProxy進程的處理能力突破了10萬請求/秒,并輕松占滿了10Gbps的網(wǎng)絡(luò)帶寬。

穩(wěn)定性

作為建議以單進程模式運行的程序,HAProxy對穩(wěn)定性的要求是十分嚴(yán)苛的。按照作者的說法,HAProxy在13年間從未出現(xiàn)過一個會導(dǎo)致其崩潰的BUG,HAProxy一旦成功啟動,除非操作系統(tǒng)或硬件故障,否則就不會崩潰(我覺得可能多少還是有夸大的成分)。

在上文中提到過,HAProxy的大部分工作都是在操作系統(tǒng)內(nèi)核完成的,所以HAProxy的穩(wěn)定性主要依賴于操作系統(tǒng),作者建議使用2.6或3.x的Linux內(nèi)核,對sysctls參數(shù)進行精細的優(yōu)化,并且確保主機有足夠的內(nèi)存。這樣HAProxy就能夠持續(xù)滿負(fù)載穩(wěn)定運行數(shù)年之久。

個人的建議:

  • 使用3.x內(nèi)核的Linux操作系統(tǒng)運行HAProxy
  • 運行HAProxy的主機上不要部署其他的應(yīng)用,確保HAProxy獨占資源,同時避免其他應(yīng)用引發(fā)操作系統(tǒng)或主機的故障
  • 至少為HAProxy配備一臺備機,以應(yīng)對主機硬件故障、斷電等突發(fā)情況(搭建雙活HAProxy的方法在后文中有描述)
  • sysctl的建議配置(并不是萬用配置,仍然需要針對具體情況進行更精細的調(diào)整,但可以作為首次使用HAProxy的初始配置使用):
net.ipv4.tcp_tw_reuse = 1net.ipv4.ip_local_port_range = 1024 65023net.ipv4.tcp_max_syn_backlog = 10240net.ipv4.tcp_max_tw_buckets = 400000net.ipv4.tcp_max_orphans = 60000net.ipv4.tcp_synack_retries = 3net.core.somaxconn = 10000

HAProxy的安裝和運行


下面介紹在CentOS7中安裝和運行HAProxy最新穩(wěn)定版(1.7.2)的方法

安裝

為HAProxy 創(chuàng)建用戶和用戶組,此例中用戶和用戶組都是“ha”。注意,如果想要讓HAProxy監(jiān)聽1024以下的端口,則需要以root用戶來啟動

下載并解壓

wget http://www.haproxy.org/download/1.7/src/haproxy-1.7.2.tar.gztar -xzf haproxy-1.7.2.tar.gz

編譯并安裝

make PREFIX=/home/ha/haproxy TARGET=linux2628make install PREFIX=/home/ha/haproxy

PREFIX為指定的安裝路徑,TARGET則根據(jù)當(dāng)前操作系統(tǒng)內(nèi)核版本指定:

- linux22     for Linux 2.2- linux24     for Linux 2.4 and above (default)- linux24e    for Linux 2.4 with support for a working epoll (> 0.21)- linux26     for Linux 2.6 and above- linux2628   for Linux 2.6.28, 3.x, and above (enables splice and tproxy)

此例中,我們的操作系統(tǒng)內(nèi)核版本為3.10.0,所以TARGET指定為linux2628

創(chuàng)建 HAProxy 配置文件

mkdir -p /home/ha/haproxy/confvi /home/ha/haproxy/conf/haproxy.cfg

我們先創(chuàng)建一個最簡單配置文件:

global #全局屬性    daemon  #以daemon方式在后臺運行    maxconn 256  #最大同時256連接    pidfile /home/ha/haproxy/conf/haproxy.pid  #指定保存HAProxy進程號的文件
defaults #默認(rèn)參數(shù) mode http #http模式 timeout connect 5000ms #連接server端超時5s timeout client 50000ms #客戶端響應(yīng)超時50s timeout server 50000ms #server端響應(yīng)超時50s
frontend http-in #前端服務(wù)http-in bind *:8080 #監(jiān)聽8080端口 default_backend servers #請求轉(zhuǎn)發(fā)至名為"servers"的后端服務(wù)
backend servers #后端服務(wù)servers server server1 127.0.0.1:8000 maxconn 32 #backend servers中只有一個后端服務(wù),名字叫server1,起在本機的8000端口,HAProxy同時最多向這個服務(wù)發(fā)起32個連接
注意:HAProxy 要求系統(tǒng)的 ulimit -n 參數(shù)大于[maxconn*2+18],在設(shè)置較大的 maxconn 時,注意檢查并修改 ulimit -n 參數(shù)

將 HAProxy 注冊為系統(tǒng)服務(wù)

在 /etc/init.d 目錄下添加 HAProxy 服務(wù)的啟停腳本:

vi /etc/init.d/haproxy
#! /bin/shset -e
PATH=/sbin:/bin:/usr/sbin:/usr/bin:/home/ha/haproxy/sbinPROGDIR=/home/ha/haproxyPROGNAME=haproxyDAEMON=$PROGDIR/sbin/$PROGNAMECONFIG=$PROGDIR/conf/$PROGNAME.cfgPIDFILE=$PROGDIR/conf/$PROGNAME.pidDESC="HAProxy daemon"SCRIPTNAME=/etc/init.d/$PROGNAME
# Gracefully exit if the package has been removed.test -x $DAEMON || exit 0
start(){ echo -e "Starting $DESC: $PROGNAME\n" $DAEMON -f $CONFIG echo "."}
stop(){ echo -e "Stopping $DESC: $PROGNAME\n" haproxy_pid="$(cat $PIDFILE)" kill $haproxy_pid echo "."}
restart(){ echo -e "Restarting $DESC: $PROGNAME\n" $DAEMON -f $CONFIG -p $PIDFILE -sf $(cat $PIDFILE) echo "."}
case "$1" in start) start ;; stop) stop ;; restart) restart ;; *) echo "Usage: $SCRIPTNAME {start|stop|restart}" >&2 exit 1 ;;esac
exit 0

運行

啟動、停止和重啟

service haproxy startservice haproxy stopservice haproxy restart

添加日志

HAProxy 不會直接輸出文件日志,所以我們要借助 Linux 的 rsyslog 來讓 HAProxy 輸出日志

修改haproxy.cfg

在 global 域和 defaults 域中添加:

global    ...    log 127.0.0.1 local0 info    log 127.0.0.1 local1 warning    ...
defaults ... log global ...

意思是將 info級(及以上)的日志推送到rsyslog的local0接口,將warn級(及以上)的日志推送到rsyslog的local1接口,并且所有frontend都默認(rèn)使用global中的日志配置。

注:info級的日志會打印HAProxy處理的每一條請求,會占用很大的磁盤空間,在生產(chǎn)環(huán)境中,建議將日志級別調(diào)整為notice

為 rsyslog 添加 haproxy 日志的配置

vi /etc/rsyslog.d/haproxy.conf$ModLoad imudp$UDPServerRun 514$FileCreateMode 0644  #日志文件的權(quán)限$FileOwner ha  #日志文件的ownerlocal0.*     /var/log/haproxy.log  #local0接口對應(yīng)的日志輸出文件local1.*     /var/log/haproxy_warn.log  #local1接口對應(yīng)的日志輸出文件

修改 rsyslog 的啟動參數(shù)

vi /etc/sysconfig/rsyslog# Options for rsyslogd# Syslogd options are deprecated since rsyslog v3.# If you want to use them, switch to compatibility mode 2 by "-c 2"# See rsyslogd(8) for more detailsSYSLOGD_OPTIONS="-c 2 -r -m 0"

重啟 rsyslog 和 HAProxy

service rsyslog restartservice haproxy restart

此時就應(yīng)該能在/var/log目錄下看到haproxy的日志文件了

用 logrotate 進行日志切分

通過 rsyslog 輸出的日志是不會進行切分的,所以需要依靠 Linux 提供的 logrotate (Linux系統(tǒng) Logrotate服務(wù)介紹)來進行切分工作

使用 root 用戶,創(chuàng)建 haproxy 日志切分配置文件:

mkdir /root/logrotatevi /root/logrotate/haproxy/var/log/haproxy.log /var/log/haproxy_warn.log {  #切分的兩個文件名    daily        #按天切分    rotate 7     #保留7份    create 0644 ha ha  #創(chuàng)建新文件的權(quán)限、用戶、用戶組    compress     #壓縮舊日志    delaycompress  #延遲一天壓縮    missingok    #忽略文件不存在的錯誤    dateext      #舊日志加上日志后綴    sharedscripts  #切分后的重啟腳本只運行一次    postrotate   #切分后運行腳本重載rsyslog,讓rsyslog向新的日志文件中輸出日志      /bin/kill -HUP $(/bin/cat /var/run/syslogd.pid 2>/dev/null) &>/dev/null    endscript}

并配置在 crontab 中運行:

0 0 * * * /usr/sbin/logrotate /root/logrotate/haproxy

HAProxy 搭建 L7 負(fù)載均衡器


總體方案

本節(jié)中,我們將使用 HAProxy 搭建一個 L7 負(fù)載均衡器,應(yīng)用如下功能

  • 負(fù)載均衡
  • 會話保持
  • 健康檢查
  • 根據(jù)URI前綴向不同的后端集群轉(zhuǎn)發(fā)
  • 監(jiān)控頁面

架構(gòu)如下:

架構(gòu)中共有6個后端服務(wù),劃分為3組,每組中2個服務(wù):

  • ms1:服務(wù)URI前綴為ms1/的請求

  • ms2:服務(wù)URI前綴為ms2/的請求

  • def:服務(wù)其他請求

搭建后端服務(wù)

部署6個后端服務(wù),可以使用任意的Web服務(wù),如Nginx、Apache HTTPD、Tomcat、Jetty等,具體Web服務(wù)的安裝過程省略。

此例中,我們在192.168.8.111和192.168.8.112兩臺主機上分別安裝了3個Nginx:

ms1.srv1 - 192.168.8.111:8080ms1.srv2 - 192.168.8.112:8080ms2.srv1 - 192.168.8.111:8081ms2.srv2 - 192.168.8.112:8081def.srv1 - 192.168.8.111:8082def.srv2 - 192.168.8.112:8082
在這 6個 Nginx 服務(wù)分別部署健康檢查頁面 healthCheck.html,頁面內(nèi)容任意。確保通過http://ip:port/healthCheck.html 可以訪問到這個頁面

接下來在6個 Nginx 服務(wù)中部署服務(wù)頁面:

  • 在第一組中部署ms1/demo.html

  • 在第二組中部署ms2/demo.html

  • 在第三組中部署def/demo.html

demo.html的內(nèi)容,以部署在192.168.8.111:8080上的為例:

Hello! This is ms1.srv1!

部署在 192.168.8.112:8080 上的就應(yīng)該是

Hello! This is ms1.srv2!

以此類推

搭建 HAProxy

在 192.168.8.110 主機安裝 HAProxy,HAProxy 的安裝和配置步驟如上一章中描述,此處略去。

HAProxy 配置文件:

global    daemon    maxconn 30000   #ulimit -n至少為60018    user ha    pidfile /home/ha/haproxy/conf/haproxy.pid    log 127.0.0.1 local0 info    log 127.0.0.1 local1 warning
defaults mode http log global option http-keep-alive #使用keepAlive連接 option forwardfor #記錄客戶端IP在X-Forwarded-For頭域中 option httplog #開啟httplog,HAProxy會記錄更豐富的請求信息 timeout connect 5000ms timeout client 10000ms timeout server 50000ms timeout http-request 20000ms #從連接創(chuàng)建開始到從客戶端讀取完整HTTP請求的超時時間,用于避免類DoS攻擊 option httpchk GET /healthCheck.html #定義默認(rèn)的健康檢查策略
frontend http-in bind *:9001 maxconn 30000 #定義此端口上的maxconn acl url_ms1 path_beg -i /ms1/ #定義ACL,當(dāng)uri以/ms1/開頭時,ACL[url_ms1]為true acl url_ms2 path_beg -i /ms2/ #同上,url_ms2 use_backend ms1 if url_ms1 #當(dāng)[url_ms1]為true時,定向到后端服務(wù)群ms1中 use_backend ms2 if url_ms2 #當(dāng)[url_ms2]為true時,定向到后端服務(wù)群ms2中 default_backend default_servers #其他情況時,定向到后端服務(wù)群default_servers中
backend ms1 #定義后端服務(wù)群ms1 balance roundrobin #使用RR負(fù)載均衡算法 cookie HA_STICKY_ms1 insert indirect nocache #會話保持策略,insert名為"HA_STICKY_ms1"的cookie #定義后端server[ms1.srv1],請求定向到該server時會在響應(yīng)中寫入cookie值[ms1.srv1] #針對此server的maxconn設(shè)置為300 #應(yīng)用默認(rèn)健康檢查策略,健康檢查間隔和超時時間為2000ms,兩次成功視為節(jié)點UP,三次失敗視為節(jié)點DOWN server ms1.srv1 192.168.8.111:8080 cookie ms1.srv1 maxconn 300 check inter 2000ms rise 2 fall 3 #同上,inter 2000ms rise 2 fall 3是默認(rèn)值,可以省略 server ms1.srv2 192.168.8.112:8080 cookie ms1.srv2 maxconn 300 check
backend ms2 #定義后端服務(wù)群ms2 balance roundrobin cookie HA_STICKY_ms2 insert indirect nocache server ms2.srv1 192.168.8.111:8081 cookie ms2.srv1 maxconn 300 check server ms2.srv2 192.168.8.112:8081 cookie ms2.srv2 maxconn 300 check
backend default_servers #定義后端服務(wù)群default_servers balance roundrobin cookie HA_STICKY_def insert indirect nocache server def.srv1 192.168.8.111:8082 cookie def.srv1 maxconn 300 check server def.srv2 192.168.8.112:8082 cookie def.srv2 maxconn 300 check
listen stats #定義監(jiān)控頁面 bind *:1080 #綁定端口1080 stats refresh 30s #每30秒更新監(jiān)控數(shù)據(jù) stats uri /stats #訪問監(jiān)控頁面的uri stats realm HAProxy\ Stats #監(jiān)控頁面的認(rèn)證提示 stats auth admin:admin #監(jiān)控頁面的用戶名和密碼
修改完成后,啟動 HAProxy
service haproxy start

測試

首先,訪問一下監(jiān)控頁面 http://192.168.8.110:1080/stats 并按提示輸入用戶名密碼
接下來就能看到監(jiān)控頁面:

監(jiān)控頁面中列出了我們配置的所有frontend和backend服務(wù),以及它們的詳細指標(biāo)。如連接數(shù),隊列情況,session rate,流量,后端服務(wù)的健康狀態(tài)等等

接下來,我們一一測試在HAProxy中配置的功能

健康檢查

從監(jiān)控頁面中就可以直接看出健康檢查配置的是否正確,上圖中可以看到,backend ms1、ms2、default_servers 下屬的 6 個后端服務(wù)的 Status 都是 20h28m UP,代表健康狀態(tài)已持續(xù)了 20 小時 28 分鐘,而 LastChk 顯示 L7OK/200 in 1ms 則代表在 1ms 前進行了 L7 的健康檢查(即HTTP請求方式的健康檢查),返回碼為200

此時我們將 ms1.srv1 中的 healthCheck.html 改名

mv healthCheck.html healthCheck.html.bak

然后再去看監(jiān)控頁面:

ms1.srv1 的狀態(tài)變成了2s DOWN,LastChk 則是 L7STS/404 in 2ms,代表上次健康檢查返回了 404,再恢復(fù) healthCheck.html,很快就能看到 ms1.srv1 重新恢復(fù)到 UP 狀態(tài)。

通過 URI 前綴轉(zhuǎn)發(fā)請求:訪問 http://192.168.8.110:9001/ms1/demo.html

可以看到成功定向到了 ms1.srv1上

訪問 http://192.168.8.110:9001/ms2/demo.html :

負(fù)載均衡和會話保持策略

在分別訪問過 ms1/demo.html,ms2/demo.html,m3/demo.html 后,查看一下瀏覽器的 Cookie

可以看到 HAProxy 已經(jīng)回寫了三個用于會話保持的 cookie,此時反復(fù)刷新這三個頁面,會發(fā)現(xiàn)總是被定向到 *.srv1上
接下來我們刪除 HA_STICKY_ms1 這條 cookie,然后再訪問 ms1/demo.html,會看到

同時也被新寫入了一條 Cookie

如果發(fā)現(xiàn)仍然被定位到 ms1.srv1,同時也沒有寫入新的 HA_STICKY_ms1 Cookie,那么可能是瀏覽器緩存了 ms1/demo.html 頁面,請求并沒有到達 HAProxy。F5刷新一下應(yīng)該就可以了。

HAProxy 搭建 L4 負(fù)載均衡器


HAProxy 作為 L4 負(fù)載均衡器工作時,不會去解析任何與 HTTP 協(xié)議相關(guān)的內(nèi)容,只在傳輸層對數(shù)據(jù)包進行處理。也就是說,以 L4 模式運行的 HAProxy,無法實現(xiàn)根據(jù) URL向不同后端轉(zhuǎn)發(fā)、通過 cookie 實現(xiàn)會話保持等功能。

同時,在 L4 模式下工作的 HAProxy 也無法提供監(jiān)控頁面。

但作為 L4 負(fù)載均衡器的 HAProxy 能夠提供更高的性能,適合于基于套接字的服務(wù)(如數(shù)據(jù)庫、消息隊列、RPC、郵件服務(wù)、Redis等),或不需要邏輯規(guī)則判斷,并已實現(xiàn)了會話共享的 HTTP 服務(wù)。

總體方案

本例中,我們使用 HAProxy 以 L4 方式來代理兩個 HTTP 服務(wù),不提供會話保持。

global    daemon    maxconn 30000   #ulimit -n至少為60018    user ha    pidfile /home/ha/haproxy/conf/haproxy.pid    log 127.0.0.1 local0 info    log 127.0.0.1 local1 warning
defaults mode tcp log global option tcplog #開啟tcplog timeout connect 5000ms timeout client 10000ms timeout server 10000ms #TCP模式下,應(yīng)將timeout client和timeout server設(shè)置為一樣的值,以防止出現(xiàn)問題 option httpchk GET /healthCheck.html #定義默認(rèn)的健康檢查策略
frontend http-in bind *:9002 maxconn 30000 #定義此端口上的maxconn default_backend default_servers #請求定向至后端服務(wù)群default_servers
backend default_servers #定義后端服務(wù)群default_servers balance roundrobin server def.srv1 192.168.8.111:8082 maxconn 300 check server def.srv2 192.168.8.112:8082 maxconn 300 check

L4模式下的會話保持

雖然 TCP 模式下的 HAProxy 無法通過 HTTP Cookie 實現(xiàn)會話保持,但可以很方便的實現(xiàn)基于客戶端IP的會話保持。只需將
  balance roundrobin改為    balance source

此外,HAProxy 提供了強大的 stick-table 功能,HAProxy 可以從傳輸層的數(shù)據(jù)包中采樣出大量的屬性,并將這些屬性作為會話保持的策略寫入 stick-table 中。

HAProxy關(guān)鍵配置詳解

總覽

HAProxy 的配置文件共有5個域

global:用于配置全局參數(shù)default:用于配置所有frontend和backend的默認(rèn)屬性frontend:用于配置前端服務(wù)(即HAProxy自身提供的服務(wù))實例backend:用于配置后端服務(wù)(即HAProxy后面接的服務(wù))實例組listen:frontend+backend的組合配置,可以理解成更簡潔的配置方法

global 域的關(guān)鍵配置

daemon:指定HAProxy以后臺模式運行,通常情況下都應(yīng)該使用這一配置user [username] :指定HAProxy進程所屬的用戶group [groupname] :指定HAProxy進程所屬的用戶組log [address] [device] [maxlevel] [minlevel]:日志輸出配置,如log 127.0.0.1 local0 info warning,即向本機rsyslog或syslog的local0輸出info到warning級別的日志。其中[minlevel]可以省略。HAProxy的日志共有8個級別,從高到低為emerg/alert/crit/err/warning/notice/info/debugpidfile :指定記錄HAProxy進程號的文件絕對路徑。主要用于HAProxy進程的停止和重啟動作。maxconn :HAProxy進程同時處理的連接數(shù),當(dāng)連接數(shù)達到這一數(shù)值時,HAProxy將停止接收連接請求

frontend 域的關(guān)鍵配置

acl [name] [criterion] [flags] [operator] [value]:定義一條ACL,ACL是根據(jù)數(shù)據(jù)包的指定屬性以指定表達式計算出的true/false值。如"acl url_ms1 path_beg -i /ms1/"定義了名為url_ms1的ACL,該ACL在請求uri以/ms1/開頭(忽略大小寫)時為truebind [ip]:[port]:frontend服務(wù)監(jiān)聽的端口default_backend [name]:frontend對應(yīng)的默認(rèn)backenddisabled:禁用此frontendhttp-request [operation] [condition]:對所有到達此frontend的HTTP請求應(yīng)用的策略,例如可以拒絕、要求認(rèn)證、添加header、替換header、定義ACL等等。http-response [operation] [condition]:對所有從此frontend返回的HTTP響應(yīng)應(yīng)用的策略,大體同上log:同global域的log配置,僅應(yīng)用于此frontend。如果要沿用global域的log配置,則此處配置為log globalmaxconn:同global域的maxconn,僅應(yīng)用于此frontendmode:此frontend的工作模式,主要有http和tcp兩種,對應(yīng)L7和L4兩種負(fù)載均衡模式option forwardfor:在請求中添加X-Forwarded-For Header,記錄客戶端ipoption http-keep-alive:以KeepAlive模式提供服務(wù)option httpclose:與http-keep-alive對應(yīng),關(guān)閉KeepAlive模式,如果HAProxy主要提供的是接口類型的服務(wù),可以考慮采用httpclose模式,以節(jié)省連接數(shù)資源。但如果這樣做了,接口的調(diào)用端將不能使用HTTP連接池option httplog:開啟httplog,HAProxy將會以類似Apache HTTP或Nginx的格式來記錄請求日志option tcplog:開啟tcplog,HAProxy將會在日志中記錄數(shù)據(jù)包在傳輸層的更多屬性stats uri [uri]:在此frontend上開啟監(jiān)控頁面,通過[uri]訪問stats refresh [time]:監(jiān)控數(shù)據(jù)刷新周期stats auth [user]:[password]:監(jiān)控頁面的認(rèn)證用戶名密碼timeout client [time]:指連接創(chuàng)建后,客戶端持續(xù)不發(fā)送數(shù)據(jù)的超時時間timeout http-request [time]:指連接創(chuàng)建后,客戶端沒能發(fā)送完整HTTP請求的超時時間,主要用于防止DoS類攻擊,即創(chuàng)建連接后,以非常緩慢的速度發(fā)送請求包,導(dǎo)致HAProxy連接被長時間占用use_backend [backend] if|unless [acl]:與ACL搭配使用,在滿足/不滿足ACL時轉(zhuǎn)發(fā)至指定的backend

backend 域的關(guān)鍵配置

acl:同frontend域balance [algorithm]:在此backend下所有server間的負(fù)載均衡算法,常用的有roundrobin和source,完整的算法說明見官方文檔configuration.html#4.2-balancecookie:在backend server間啟用基于cookie的會話保持策略,最常用的是insert方式,如cookie HA_STICKY_ms1 insert indirect nocache,指HAProxy將在響應(yīng)中插入名為HA_STICKY_ms1的cookie,其值為對應(yīng)的server定義中指定的值,并根據(jù)請求中此cookie的值決定轉(zhuǎn)發(fā)至哪個server。indirect代表如果請求中已經(jīng)帶有合法的HA_STICK_ms1 cookie,則HAProxy不會在響應(yīng)中再次插入此cookie,nocache則代表禁止鏈路上的所有網(wǎng)關(guān)和緩存服務(wù)器緩存帶有Set-Cookie頭的響應(yīng)。default-server:用于指定此backend下所有server的默認(rèn)設(shè)置。具體見下面的server配置。disabled:禁用此backendhttp-request/http-response:同frontend域log:同frontend域mode:同frontend域option forwardfor:同frontend域option http-keep-alive:同frontend域option httpclose:同frontend域option httpchk [METHOD] [URL] [VERSION]:定義以http方式進行的健康檢查策略。如option httpchk GET /healthCheck.html HTTP/1.1option httplog:同frontend域option tcplog:同frontend域server [name] [ip]:[port] [params]:定義backend中的一個后端server,[params]用于指定這個server的參數(shù),常用的包括有:check:指定此參數(shù)時,HAProxy將會對此server執(zhí)行健康檢查,檢查方法在option httpchk中配置。同時還可以在check后指定inter, rise, fall三個參數(shù),分別代表健康檢查的周期、連續(xù)幾次成功認(rèn)為server UP,連續(xù)幾次失敗認(rèn)為server DOWN,默認(rèn)值是inter 2000ms rise 2 fall 3cookie [value]:用于配合基于cookie的會話保持,如cookie ms1.srv1代表交由此server處理的請求會在響應(yīng)中寫入值為ms1.srv1的cookie(具體的cookie名則在backend域中的cookie設(shè)置中指定)maxconn:指HAProxy最多同時向此server發(fā)起的連接數(shù),當(dāng)連接數(shù)到達maxconn后,向此server發(fā)起的新連接會進入等待隊列。默認(rèn)為0,即無限maxqueue:等待隊列的長度,當(dāng)隊列已滿后,后續(xù)請求將會發(fā)至此backend下的其他server,默認(rèn)為0,即無限weight:server的權(quán)重,0-256,權(quán)重越大,分給這個server的請求就越多。weight為0的server將不會被分配任何新的連接。所有server默認(rèn)weight為1
timeout connect [time]:指HAProxy嘗試與backend server創(chuàng)建連接的超時時間timeout check [time]:默認(rèn)情況下,健康檢查的連接+響應(yīng)超時時間為server命令中指定的inter值,如果配置了timeout check,HAProxy會以inter作為健康檢查請求的連接超時時間,并以timeout check的值作為健康檢查請求的響應(yīng)超時時間timeout server [time]:指backend server響應(yīng)HAProxy請求的超時時間

default 域

上文所屬的frontend和backend域關(guān)鍵配置中,除acl、bind、http-request、http-response、use_backend外,其余的均可以配置在default域中。default域中配置了的項目,如果在frontend或backend域中沒有配置,將會使用default域中的配置。

listen 域

listen域是frontend域和backend域的組合,frontend域和backend域中所有的配置都可以配置在listen域下

使用Keepalived實現(xiàn)HAProxy高可用

盡管 HAProxy 非常穩(wěn)定,但仍然無法規(guī)避操作系統(tǒng)故障、主機硬件故障、網(wǎng)絡(luò)故障甚至斷電帶來的風(fēng)險。所以必須對 HAProxy 實施高可用方案。
下文將介紹利用 Keepalived 實現(xiàn)的 HAProxy 熱備方案。即兩臺主機上的兩個 HAProxy實例同時在線,其中權(quán)重較高的實例為 MASTER,MASTER 出現(xiàn)問題時,另一臺實例自動接管所有流量。

原理

在兩臺 HAProxy 的主機上分別運行著一個 Keepalived 實例,這兩個 Keepalived 爭搶同一個虛IP地址,兩個 HAProxy 也嘗試去綁定這同一個虛IP地址上的端口。

顯然,同時只能有一個 Keepalived 搶到這個虛 IP,搶到了這個虛 IP 的 Keepalived 主機上的 HAProxy 便是當(dāng)前的 MASTER。

Keepalived 內(nèi)部維護一個權(quán)重值,權(quán)重值最高的 Keepalived 實例能夠搶到虛IP。同時 Keepalived 會定期 check 本主機上的 HAProxy 狀態(tài),狀態(tài)OK時權(quán)重值增加。

搭建 HAProxy 主備集群

環(huán)境準(zhǔn)備

在兩臺物理機上安裝并配置 HAProxy,本例中,將在 192.168.8.110 和 192.168.8.111 兩臺主機上上安裝兩套完全一樣的 HAProxy,具體步驟省略,請參考“使用 HAProxy 搭建L7負(fù)載均衡器”一節(jié)。

安裝Keepalived

下載,解壓,編譯,安裝:

wget http://www.keepalived.org/software/keepalived-1.2.19.tar.gztar -xzf keepalived-1.2.19.tar.gz./configure --prefix=/usr/local/keepalivedmakemake install

注冊為系統(tǒng)服務(wù):

cp /usr/local/keepalived/sbin/keepalived /usr/sbin/cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/chmod +x /etc/init.d/keepalived

注意:Keepalived 需要使用 root 用戶進行安裝和配置

配置 Keepalived

創(chuàng)建并編輯配置文件

mkdir -p /etc/keepalived/cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/vi /etc/keepalived/keepalived.conf

配置文件內(nèi)容:

global_defs {    router_id LVS_DEVEL  #虛擬路由名稱}
#HAProxy健康檢查配置vrrp_script chk_haproxy { script "killall -0 haproxy" #使用killall -0檢查haproxy實例是否存在,性能高于ps命令 interval 2 #腳本運行周期 weight 2 #每次檢查的加權(quán)權(quán)重值}
#虛擬路由配置vrrp_instance VI_1 { state MASTER #本機實例狀態(tài),MASTER/BACKUP,備機配置文件中請寫B(tài)ACKUP interface enp0s25 #本機網(wǎng)卡名稱,使用ifconfig命令查看 virtual_router_id 51 #虛擬路由編號,主備機保持一致 priority 101 #本機初始權(quán)重,備機請?zhí)顚懶∮谥鳈C的值(例如100) advert_int 1 #爭搶虛地址的周期,秒 virtual_ipaddress { 192.168.8.201 #虛地址IP,主備機保持一致 } track_script { chk_haproxy #對應(yīng)的健康檢查配置 }}

如果主機沒有killall命令,則需要安裝psmisc包:

yum intall psmisc

分別啟動兩個Keepalived

service keepalived start

驗證

啟動后,先分別在兩臺主機查看虛IP 192.168.8.201由誰持有,執(zhí)行命令:

ip addr sh enp0s25   (將enp0s25替換成主機的網(wǎng)卡名)

持有虛IP的主機輸出會是這樣的:

另一臺主機輸出則是這樣的:

如果你先啟動備機的 Keepalived,那么很有可能虛 IP 會被備機搶到,因為備機的權(quán)重配置只比主機低1,只要執(zhí)行一次健康檢查就能把權(quán)重提高到 102,高于主機的 101。

此時訪問 http://192.168.8.201:9001/ms1/demo.html ,可以看到我們先前部署的網(wǎng)頁。

此時,檢查/var/log/haproxy.log,能看到此請求落在了搶到了虛IP的主機上。

接下來,我們停掉當(dāng)前 MASTER 主機的 HAProxy 實例(或者Keepalive實例,效果一樣)

service haproxy stop

再次訪問 http://192.168.8.201:9001/ms1/demo.html ,并查看備機的 /var/log/haproxy.log,會看到此請求落在了備機上,主備自動切換成功。

也可以再次執(zhí)行ip addr sh enp0s25命令,會看到虛IP被備機搶去了。

在/var/log/message中,也能夠看到keepalived輸出的切換日志:

來源:https://blog.csdn.net/xiaoxiaole0313/article/details/113977071

文章轉(zhuǎn)載:高效運維
(版權(quán)歸原作者所有,侵刪)



點擊下方“閱讀原文”查看更多

瀏覽 86
點贊
評論
收藏
分享

手機掃一掃分享

分享
舉報
評論
圖片
表情
推薦
點贊
評論
收藏
分享

手機掃一掃分享

分享
舉報

感谢您访问我们的网站,您可能还对以下资源感兴趣:

国产秋霞理论久久久电影-婷婷色九月综合激情丁香-欧美在线观看乱妇视频-精品国avA久久久久久久-国产乱码精品一区二区三区亚洲人-欧美熟妇一区二区三区蜜桃视频 91成人视频在线播放| 97人妻人人操| 色多多毛片| 日韩高清一区| 激情开心五月天| 熟妇综合| 黄色免费一级片| 操逼免费视频网站| 伊人视频网| 北条麻妃在线精品| 亚洲综合免费观看高清完整版在线| 成人AV无码| 欧美午夜福利在线观看| 亚洲色小说| 免费看黄色的视频| 又黄又爽视频| 91插插插插| 日韩无码黄色电影| 天天色小说| 国产黄色电影| 国产成人久久| 最好看的MV中文字幕国语电影| 人人干人人干人人| 亚洲AV成人无码精品直播在线| 国产av三级片| 久久婷婷国产综合| 四季AV之日韩人妻无码| 波多野吉衣中文字幕| 免费欧美黄片| 亚洲无码午夜| 国产主播av| 偷窥美鲍| 青青草av| 亚洲成人一区二区三区| 欧美国产综合| 日本一区二区三区在线视频| 一级av片| 日韩欧美成人视频| 国产五月婷婷| 日韩a级毛片| 久久久久久久97| 俄罗斯白嫩BBwBBwBBw91| 国产激情视频网站| 有码视频在线观看| 亚洲无码在线观看网站| 少妇搡BBBB搡BBB搡18禁| 日韩在线大香蕉| 日韩一区二区免费看| 在线观看免费欧美操逼视频| av久| 字幕一区二区久久人妻网站| h片在线免费观看| 性爱综合网| 黄色片网站在线观看| 操b在线观看| 无码视频观看| 国产三级电影在线观看| 成人无码视频在线观看| 亚洲av| 亚欧洲精品在线视频免费观看 | 久久精品片| 99九九99九九九99九他書對| 九九热播精品| 亚洲AV三级片| 亚洲一级免费在线观看| 永久免费看A人片无码精| 操你啦无码日韩| 亚洲大哥天天干| 欧美老熟女18| 国产丝袜人妖TS系列| 香蕉视频久久| 欧美mv日韩mv国产| 91麻豆福利在线观看| 综合婷婷| 亚洲天堂网站| 亚洲精品乱码久久久久久按摩观| 小日本91在线观看| 天天影视综合网免费观看电视剧国产 | 日韩啪啪网站| 人妻天天干| 亚洲专区中文字幕| 免费大黄网站| 一级A片免费视频| 操逼视频在线看| 日老女人逼| 波多野结衣视频在线| 91狠狠综合久久久久久| 日本精品一区二区三区四区的功能 | 欧美色综合| 国产成人电影| 人人肏肏人人| 日日夜夜爱| 亚洲综合五月天| 婷婷五月天丁香成人社区| 一本色道久久88综合无码| 在线观看一区二区视频| 亚洲色男人天堂| 国产黄色电影在线| 无码在线专区| 69国产成人综合久久精品欧美| www.199麻豆在线观看网站| 奇米无码| ThePorn-成人网站入口| 3d动漫精品H区XXXXX区| 亚洲无码在线视频播放| 午夜成人小电影| 亚洲精品视频在线播放| 日韩城人免费| 亚洲人成电影| 国产日本欧美韩国久久久久| 日色色色| 永久免费黄色视频网站| 日本在线观看www| 影音先锋av成人电影| 亚洲乱伦小说网| 日韩AV无码专区亚洲AV| av黄片| 无码不卡在线观看| 久久草视频| 亚洲人妻中文字幕| 黄色视频免费看| 天天干天天撸影视| 国产成人精品毛片| 4388亚洲最大| 天天干天天天天| 欧美国产一区二区| 91乱子伦国产乱| 久99视频| 18禁一区二区三区| 99视频免费观看| 一级无码专区| 久久嫩草精品| 中文字幕乱码视频| 波多野结衣一级| 欧美午夜无码| 中文字幕+乱码+中文字幕在线| 在线观看欧美日韩| 国产精品秘久久久久久免费播放| 中文字幕人妻精品一区| 欧美日韩一区二区三区四区五区六区 | 91AV无码| 大香蕉手机在线视频| 日韩欧美色| 波多野结衣AV在线| 日本一级婬片A片免费看| 久久久精品无码| 天天舔九色婷婷| 国产1区2区3区中文字幕| www.俺去| 人妻人人操人人爽| 国产高清无码视频在线观看| 成人性生活A级毛片网站| 亚洲欧美激情视频| 亚洲黄色在线播放| 色婷婷av在线| 少妇搡BBBB搡BBB搡造水多| 黄色一级片视频| 操逼逼网| 久草网大香蕉| 国产精品高清网站| 一级黄色视频免费观看| 操操干| 国产A片视频| 一级黄色A片| 蜜桃网站视频| 黄色视频大全在线观看| 日本中文字幕中文翻译歌词| 国产V在线观看| 97人妻人人澡人人爽人人精品| 91豆花视频18| 成人免费无码毛片| 人人妻人人操人人干| 久久婷婷国产综合| 人妻丰满熟妇av无码区| 成人免费毛片AAAAAA片| 青草大香蕉| 黑种人配中国少妇HD| 伊人天天日| 亚洲图片在线观看| 一区二区三区四区五区在线| 中文字幕系列| 婷婷久久久久久| 成人免费黄色片| 日韩免费一级| 国产黄色视频在线| 久久成人在线视频| 波多野结衣国产区42部| 老鸭窝av免费入口在线观看 | 中文字幕观看在线| 久久久精品人妻| 国产6区| 人人色人人黄| av网站在线免费观看| 人妻无码在线视频| 久久肏| 激情婷婷亚洲| 国产美女一区| 日韩一级高清| 日本免费A片| 按摩性高湖婬AAA片A片中国 | www.久久久久| 亚洲一区视频| 国产三级黄色片| 丰满人妻| 国产美女av| 精品无码一区二区三区的天堂| 日韩AV一级片| 成人日韩| 尤物一区二区| 久艹av| 91AV电影网| 国产足交| 人妻少妇视频| 天天天天色| 美女国产精品| 九九精品视频在线观看| 一级A片一毛片大全| 撸一撸成人在线做爱视频。 | 午夜AV影院| 蜜芽成人在线| 波多野结衣高清无码| 国产成人精品毛片| 国外成人性视频免费| 91免费国产视频| 在线免费观看黄色视频| 日韩黄色免费网站| 91无码AⅤ在线| 男人的天堂视频| 性欧美成人播放77777| 亚洲黄色视频在线观看网站| 成人亚洲在线| 国产乱子伦-区二区三区四区| 人妻一区| 婷婷五月天激情俺来也| 特黄特色免费视频| 尹人在线视频| 97在线免费视频| 欧美午夜精品久久久| 动漫人物插画动漫人物的视频软件| 精品一区二区三区免费| 亚洲一区二区三区在线视频| 午夜无码精品一区二区三区99午| 欧美日韩视频一区二区三区| 手机AV在线观看| 亚洲午夜久久久久久久久红桃| 五月婷婷综合网| 国产精品色哟哟| 天堂网在线观看| 欧美色图第一页| 天天日综合网| 久热青草| 日韩人妻中文字幕| 在线观看不卡av| 91免费成人电影| 国产一级在线| 青娱乐一级无码| 操逼网国产| 亚洲色老板| 国产无遮挡又黄又爽免费网站| 豆花无码视频一区二区| 无码人妻一区二区三区在线视频不卡 | 国产激情视频在线观看| 在线不卡视频| 日本一区二区视频在线观看| 囯产精品一区二区三区线一牛影视1 | 可以免费观看的av| 国产精品久久久久久久久久久久| 久久久WWW成人免费无遮挡大片 | 亚洲小说区图片区都市| 日韩激情视频| 日韩成人无码电影网站| 日韩在线视频免费| 98在线++传媒麻豆的视频| 人与禽一级A片一区二区三区| 自拍偷拍中文字幕| 在线观看欧美日韩| 肉片无遮挡一区二区三区免费观看视频| 日韩黄色片在线观看| 先锋成人AV| 色男人的天堂| 亚洲一区二区视频在线观看| 欧美日本在线观看| 黄片在线视频| 国产视频无码| 国产系列每日更新| 国产高清无码网站| 日韩无码精品电影| 日本黄在线观看| 久久久久亚洲AV成人网人人软件| AV三级片网站| 亚洲日韩三级| 精产国品一区二区区别| 国产主播一区二区| 插插网站| 超碰在线进入| 国产区欧美去区在线| 亚洲无线观看| 日韩欧美大片在线观看| 激情小说激情视频| 成人国产精品秘欧美高清| 欧美精品国产动漫| 亚洲午夜精品久久久| 狼友视频在线| 久一在线| 久操视频免费| 日本中出视频| 2021天天操| 激情网页| 日本黄在线看| 99热免费观看| 国产精品久久久一区二区三区| 亚洲无码色色| 成人日韩| 亚洲国产成人精品女人久久久| 久久久123| 91人妻人人澡人人爽人人| 四虎av在线播放| 你懂得在线| 人人操人人看人人摸| 搡老熟女-91Porn| 青青草视频在线观看| 九色91PORNY国产| 波多野结衣AV在线播放| 91色人妻| 免费成人黄色网址| 免费+无码+精品| av在线直播| 久久久中文字幕| www.日本黄色视频| 日本中文字幕在线播放| 影音先锋av在线资源站| 久久久免费观看视频| 蜜桃视频网站| 日韩成人不卡| 欧美成人a片| 成人无码自拍| 18禁网站禁片免费观看| 思思热思思操免费视频| 九九午夜| 亚洲三级视频| 国产一级片电影| 91热视频| 婷婷激情丁香五月天| 亚洲精品ww| 亚洲成人视频在线观看| 色欲五月天| 天天爱天天操| 亚洲AV无码精品久久一区二区| 国产无码av| 西西444| 天天干天天干天天干| 尿在小sao货里面好不好| 日韩99| 日本狠狠干| 日韩一级在线观看| 啪啪啪免费视频| 波多野结衣网站| 在线观看黄A片免费网站| 欧美日韩国产尤物主播精品| 高清毛片AAAAAAAAA片| 日本高清无码在线| 天堂黄片| 午夜福利黄| 亚洲AV无码一区二区三区少妇| 99无码人妻| 天天躁狠狠躁av| 岛国无码av| 亚洲第一狼人综合网| 欧洲精品视频在线观看| 久久欧洲成人精品无码区| 91人人操人人爽| 91国产做爱| 少妇激情av| 欧美熟妇精品黑人巨大一二三区| 亚洲欧美日韩在线| 久久国产精品久久| AV电影一区| 免费一级电影| 国产精品日韩高清北条麻衣| 波多野结衣AV在线| 亚洲小视频在线播放| 日韩一区二区三免费高清在线观看 | 99热这里只有精品1| 亚洲美女视频网| 国产精品成人免费精品自在线观看| 日本成人一区二区三区| 日韩中文无码字幕| 男人天堂中文字幕| 黄色小视频在线免费看| 日本黄在线播放| 亚洲精品无码视频在线观看| 大香蕉在线视频观看| 一级色情片| 996热re视频精品视频这里| 无码群交| 日韩加勒比在线| 成人A片一级| 国产成人无码一区二区在线播放 | 日韩av电影免费在线观看| 一区二区网站| 国产日逼片| 丁香激情五月| 久激情内射婷内射蜜桃欧美一级| 二区三区不卡| 国产成人免费观看| 香蕉视频啪啪啪| 人妻人人爽| 人人爽久久涩噜噜噜网站| 婷婷激情五月天丁香| 99色综合| a免费在线| 黄色成人网站在线观看| 欧美成人超碰| 在线观看免费黄视频| 大香蕉精品视频在线| 亚洲人妻电影一区| 国产116页| 欧美三区四区| A片在线免费看| 欧美国产综合在线| 成人小说视频在线社区| 欧美亚洲日韩成人| 97超碰在线视| 欧美大香蕉网| 老湿机福利院| 日本乱伦电影中文字幕| 被黑人猛躁10次高潮视频| 国产噜噜噜噜噜久久久久久久久| 成人自拍网| 精品无码一区二区三区蜜桃李宗瑞| 成人三级视频在线观看| 四虎亚洲无码| 亚洲精品日韩中文字幕| 亚洲精品不卡| 青草久久久久| 国产精品视频免费观看| 九色PORNY蝌蚪自拍视频| 18性XXXXX性猛交| 亚洲视频区| 超碰天天操| www.毛片| 欧美一区二区三区婷婷五月| 欧美性爱福利视频| 乱伦一区二区三区| 日韩性爱网站| 成人视频在线观看黄色18| 欧美成人日韩| 欧美日韩中文| 欧美内射在线| 欧美一级a| 性欧美69| 日皮视频| 国产操B| AV高清| 你懂得视频在线观看| 黄色无码视频| 久久99久久99久久99| 91精品久久久久久综合五月天| 成人免费无码婬片在线| 无码黄漫| 小小拗女BBw搡BBBB搡| 国产第一页在线观看| 丁香六月综合激情| 无码主播| 激情五月天在线观看| 91成人免费在线观看| 亚洲一区av| 亚洲涩情91日韩一区二区| 成年人黄色视频| 搞黄免费视频视频| 婷婷五月情| 婷婷操逼网| 蜜柚Av| 99无码秘蜜桃人妻一区二区三区| 久久久久久久久久久国产精品 | 国产一区二| 日本成人电影一区二区三区| 日本黄A级A片国产免费| 欧美强开小嫩苞| AAA成人| 日韩免费在线视频观看| 五月天无码视频| 欧美亚洲成人电影| 亚洲三级AV| 久久人操| www.四虎成人网站| 一级黄色视频免费看| 欧美日韩黄色片| 尹人香蕉久久| 亚洲欧洲中文字幕| NP玩烂了公用爽灌满视频播放 | 99性爱视频| 日本熟妇一区二区三区| 欧美精品A片| 吴梦梦一区二区三区| 日日摸日日| 手机看片1024国产| AAA久久久| 日本免费黄色视频| 北条麻妃无码精品AV| 91人人妻人人操| 国产精品无码一区二区三| 大香蕉久草| 亚洲免费成人视频| 九九精品网| 欧美老妇日韩| 天天日天天操天天干| 国产三级片在线观看视频| 91乱了伦国产乱子伦| 91麻豆视频| 午夜福利成人视频| 国产一a毛一a免费观看| 友田真希一级婬片A片| 一级操逼视频| 久久免费视频观看| 91丨九色丨蝌蚪丨丝袜| 黄色片亚洲| AV天堂影视在线观看| 在线永久看片免费的视频| 国产美女一级真毛片酒店| 黄色片网站视频| 北条麻妃一区二区三区-免费免费高清观看 | 日韩色道| 午夜福利AV在线| 男人天堂网AV| 尤物在线视频| 理论片熟女奶水哺乳| 操逼福利视频| 久久精品视频国产| 呦呦av| 日韩黄色毛片| 五月天婷婷综合| 日韩一区二区不卡| 亚洲精品久久久久久久蜜桃| 五月丁香综合久久| 成人日韩| 丰满岳乱妇一区二区三区| 欧美噜噜| 337P大胆粉嫩银噜噜噜| 夜夜骑婷婷91| 高清无码视频免费观看| 91在线网址| 3D动漫精品一区二区在线播放免费| 91丨九色丨蝌蚪丨对白| 亚洲欧美成人| 国产精品99久久久久的广告情况 | 亚洲日韩久久| 日韩欧美成人视频| 亚洲黄色电影网| 成人毛片一区二区三区无码 | 91无码在线视频| 日本AA片视频| 三级黄,色| 狠狠狠久久久| 成人在线视频免费观看| 亚洲无码网址| 亚洲第一色图| 俺去俺来也在线www色情网| 操B视频在线播放| 最新免费毛片| 91啦丨露脸丨熟女| 在线中文av| 蜜臀av在线观看| 欧洲AV在线| 中文字幕免费毛片| 蜜桃高清无码| 91视频网站| 日韩av电影在线观看| 福利视频二区| 在线观看免费黄色| 97一区| 95四川乱子伦视频国产| 欧美黄片AAA| 黄色毛片网站| 久久爆乳一区二区三区| 丁香色色网| 亚洲.欧美.丝袜.中文.综合| 翔田千里无码播放| 日韩精品无码人妻| 黄色av免费看| 日韩精品一区二区三区四区蜜桃视频| 亚洲精品一区二区三区| 骚逼综合| 亚洲精品人妻在线| 做爰视频毛片下载蜜桃视频| 国产成人视频免费在线观看| 九九成人免费视频| 久久人妻视频| 日本特级黄色毛片| 成人无码www在线看免费| 正在播放国产精品| 69AV在线播放| 国产视频一区二区在线观看 | 操操网| 亚洲午夜精品久久久| 狠狠躁日日躁夜夜躁A片男男视频| 天天干婷婷五月天| 在线观看亚州| 97人妻碰碰中文无码久热丝袜| 欧美色综合| 婷婷五月花| 波多野吉衣毛片| 中文字幕精品无码一区二区| 五月天综合| 91福利网站| 亚洲天堂国产| 欧美色图俺去了| www.啪| 精品无码二区| 国外成人在线视频老鸭窝| 亚洲成人视频| 国产黄色视频在线| 无码aa| 成人性爱视频在线观看| 中文字幕第2页| 熊猫成人网| 久久艹免费视频| 美日韩一区二区三区| 黄色无码在线观看| 黄色操逼片| 亚洲国产精品尤物yw在线观看| JIZZJIZZ国产精品喷水| 天天干夜夜操熟女| AV免费激情影院| 日韩免费| 五月丁香| 日逼国产| 免费高清无码视频| www.99爱| 特级毛片片A片AAAAAA| 国产亲子乱XXXXinin| 午夜福利免费| 亚洲人妻系列| 三级国产AV| 无码一区二区久久| 欧美精品亚洲| 九九九AV| 九七精品| 国产毛片精品一区二区色欲黄A片 另类老妇奶性BBWBBwBBw | 精品久久91| 日韩中字无码黄片| 天天都色| 中文爱爱视频| 欧美日韩免费在线播放电影在线播放电影在线播放电影免费 | 91人妻无码精品一区二区| 性满足BBWBBWBBW| 亚洲最大视频| 女人18片毛片60分钟黃菲菲| 色综合天天综合| 刘玥无码| 久久久久亚洲AV无码麻豆| 大香蕉欧美在线| 欧美色插| 色婷婷中文| 一本色道无码道| 69欧美| 上海熟妇搡BBBB搡BBBB| 黄色永久网站| 久久精品一区二区三区不卡牛牛 | 一级做a爰片毛片A片| 国产无套在线| 午夜无码在线观看视频| 6969电视影片最新更新| youjizzcom日本| 国产成人宗合| 屁屁影院国产第一页| 精品国产乱码一区二区| av不卡免费观看| 黄色福利网址| 干日本少妇| 国产精品无码久久久久成人app| av少妇| 国产高清在线免费观看AV片| 在线观看一区二区视频| 欧美黄片在线免费看| 黄色免费毛片| 免费看黄色录像| 嘿咻嘿咻动态图| 秘蜜桃色一区二区三区在线观看 | 久久精品三级视频| 妹子色综合| 亚洲无码AV免费观看| 日本中文字幕在线免费观看| 草逼综合网| 成人H在线| 亚洲日韩一级| 怡春院视频| 亚洲AV无码精品国产| 日韩一级片免费看| 操人视频在线观看| 亚洲无码高清一区| 日韩无码www| 成人激情在线观看| 国产一级a毛一级做a爱| 水果派解说在线观看| 国产777777| 日韩三级毛片| 中文字幕在线免费看| 怡春院中文字幕| 亚洲a视频在线| 免费欧美三级片| 午夜成人免费福利| 蜜臀久久99久久久久久宅男| ww成人| 一级香蕉视频| 国产视频黄| 国产女人18水真多18精品一级做| 午夜电影福利| 国产在线拍揄自揄拍无码网站新闻| 日日摸日日碰| 国产综合激情| 国产无码一区二区| 国产日本欧美韩国久久久久| 五月婷婷日韩| 日韩一级A| 乱伦一区二区三区| 亚洲在线资源| 熟妇一区二区| AV天天看| 国产性爱网址| 欧美国产综合| 国产av大全| 成人精东影业JDAV3密友| 佐山爱人妻无码蜜桃| 亚洲成人视频在线播放| 妞干网国产| 性久久久久久久久久| 色情一级AA片免费观看| 澳门毛片| www.国产视频| 大香蕉一区二区三区| 无码视频在线观看| 国产三级AV在线观看| 日本欧美成人片AAAA| 亚洲一区亚洲二区| 欧美熟妇一区二区三区| 国产av三级片| 国产日韩一区| 另类图片亚洲色图| 精品蜜桃一区二区三区| 国产熟女一区二区视频网站| 欧美成人精品A片免费一区99| 99精品网站| 婷婷五月成人| 激情综合婷婷久久| 久久国产性爱| 影音先锋成人AV| 日韩视频免费观看高清完整版在线观 | 久久久久一区二区三区| 中文字字幕在线| 人人爱天天做| 91日逼视频| 操中国老女人| 最近中文字幕2022在线观看A| 国产激情精品视频| 少婦揉BBBB揉BBBB揉| 操逼逼网站| 中文字幕23页| 影音先锋天堂| 99热最新| 国产高清黑人| www,久久久| 91人妻人人澡人人爽人妻| 国产黄色免费观看| 国产123区| 国产欧美精品成人在线观看| 大香蕉在线视频观看| 大地影视官网第三页入口| 欧洲性爱视频| 日韩一级高清| 色五月丁香婷婷| 九九九成人视频| 中国操逼电影| 大香蕉天天操| 亚洲性爱一级片| 日韩电影无码| 欧美激情色色| 亚洲中文字幕无码在线观看| 色情片免费看| 91无码人妻一区二区成人AⅤ| 人人操人人操人人操| 深爱激情五月天| 免费日韩AV| 亚洲第一成人网址| 久久综合五月天| 日韩在线视频网站| 亚洲精品字幕| 亚洲免费观看A∨中文| 亚洲AV无码久久寂寞少妇多毛 | 亚洲欧美成人网站| 亚洲天堂一区二区三区| 日韩性爱在线| 国产三级片视频在线观看| 国产乱╳╳AⅤ毛片| 国产精品美女视频| 日本AV在线播放| 亚洲天堂网站| 波多野结衣视频在线观看| 久操视频免费看| 亚洲va视频| 色婷婷久久综合久色| 国产主播av| 久久人体视频| 精品国产三级片| 大黑鸡巴视频| 日韩精品一区二区三区四在线播放| 西西人体444www| 翔田千里| 亚洲免费网| 大香蕉现在视频中心一| 丰满大爆乳波霸奶| 尤物在线免费视频| 激情五月天影院| 啪啪啪网站| 亚洲无码在线资源| 国产主播中文字幕| 国产婷婷色一区二区在线观看| 婷婷五月天激情网| 日本精品三级| 欧美成人视频网| 色婷婷狠狠| 四川美女网久草| 麻豆熟妇乱妇熟色A片在线看| 国产aa片| 丁香五月激情网| 一级黄色电影A片| 免费的黄色视频在线观看| 欧美视频a| 大香蕉久久草| 婷婷欧美色图| 国产一级二级三级片| 爱爱爱免费视频| 欧美黄色片| 国产亚洲婷婷| 337P人体美鮑高清| 亚洲精品国产AV| 青青青青操| 探花极品无套大学生| 乱伦内射| 天天干天天日天天操| 久久99视频免费观看| 99久久婷婷国产综合精品hsex | 中文字幕在线亚洲| 国产精品国内自产拍| 色婷婷成人网| 国产h视频| 超碰69| 双腿张开被9个男人调教| 围产精品久久久久久久| 免费一级无码婬片A片APP直播| 麻豆精品传媒国产剧的特点| 国产久久久久久久久久| 激情小视频| AV免费激情影院| 亚洲无码在线观看网站| 欧美性猛交XXXX乱大交| 久久久一区二区三区四区免费听 | 日韩一级免费看| 操逼一级片| 性满足BBwBBWBBw| 久久国产一区二区三区| 91在线小视频| 天天噜天天操| 91黄色视频在线播放| 不卡AV在线| 亚洲午夜无码精品专区| 一本色道综合久久欧美日韩精品| 亚洲视频中文| 丁香五月激情中文字幕| 波多野结衣av在线观看| 欧美日韩中文字幕| 精品91美女| 国内自拍视频网站| 黄色AV免费看| 日韩精品一区二区三| 久久久久久久伊人| 嫩草国产| 丁香五月天色婷婷| 国外成人性视频免费| 亚洲黄色免费网站| 一本色道久久综合熟妇人妻| 欧美一级欧美三级在线观看| 亚洲高清在线播放| 熟妇高潮一区二区高潮| 欧美一级AA大片免费看视频| 青青伊人网| 大香蕉综合伊人| AV天天看| 91成人片| 十八禁网站在线播放| 欧美囗交荫蒂AAAA| 综合天堂网| 亚洲色操| 亚洲AV成人片无码网站网蜜柚 | 国产性爱一级片| 在线观看亚洲一区| 99视频网| 91综合在线观看| 日韩激情AV| 小日本91在线观看|