国产秋霞理论久久久电影-婷婷色九月综合激情丁香-欧美在线观看乱妇视频-精品国avA久久久久久久-国产乱码精品一区二区三区亚洲人-欧美熟妇一区二区三区蜜桃视频

數(shù)據(jù)中心網(wǎng)絡(luò):詳談CLOS、Dragonfly、Torus架構(gòu)如何演進?

共 5259字,需瀏覽 11分鐘

 ·

2022-03-03 08:34



據(jù)Hyperion Research 公司按照系統(tǒng)驗收的時間估算,2021至2026年期間,全球?qū)⒔ǔ?8~38臺E級或接近 E 級的超級計算機。本文參考自“總線級數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)白皮書”。




在原先傳統(tǒng)數(shù)據(jù)中心內(nèi),計算存儲性能未提升前,端到端的時延主要在端側(cè),即計算和存儲所消耗的時延占比較大,而當計算存儲器件性能大幅提升后,網(wǎng)絡(luò)成為了數(shù)據(jù)中心內(nèi)端到端的性能瓶頸。下圖顯示了計算存儲性能提升前后,端到端時延的占比變化。


RDMA 技術(shù)實現(xiàn)業(yè)務(wù)加速但制式種類繁多?

存儲和計算性能提升后,數(shù)據(jù)中心內(nèi)二者的訪問時延已經(jīng)從 10ms優(yōu)化達到了 20us 的水平量級,相比原來有了近千倍的提升。而此時,如若仍舊采用基于 TCP 協(xié)議的網(wǎng)絡(luò)傳輸機制,由于 TCP 的丟包重傳機制,其網(wǎng)絡(luò)時延仍舊維持在 ms 級水平,無法滿足高性能計算存儲對于時延的要求。此時,RDMA 技術(shù)的出現(xiàn),為網(wǎng)絡(luò)性能的提升提供了新的技術(shù)思路。

RDMA 是一種概念,在兩個或者多個計算機進行通訊的時候使用 DMA, 從一個主機的內(nèi)存直接訪問另一個主機的內(nèi)存。傳統(tǒng)的 TCP/IP 技術(shù)在數(shù)據(jù)包處理過程中,要經(jīng)過操作系統(tǒng)及其他軟件層,需要占用大量的服務(wù)器資源和內(nèi)存總線帶寬,數(shù)據(jù)在系統(tǒng)內(nèi)存、處理器緩存和網(wǎng)絡(luò)控制器緩存之間來回進行復制移動,給服務(wù)器的 CPU 和內(nèi)存造成了沉重負擔。尤其是網(wǎng)絡(luò)帶寬、處理器速度與內(nèi)存帶寬三者的嚴重“不匹配性”,更加劇了網(wǎng)絡(luò)延遲效應(yīng)。

RDMA 是一種新的直接內(nèi)存訪問技術(shù),RDMA 讓計算機可以直接存取其他計算機的內(nèi)存,而不需要經(jīng)過處理器的處理。RDMA 將數(shù)據(jù)從一個系統(tǒng)快速移動到遠程系統(tǒng)的內(nèi)存中,而不對操作系統(tǒng)造成任何影響。

在實現(xiàn)上,RDMA 實際上是一種智能網(wǎng)卡與軟件架構(gòu)充分優(yōu)化的遠端內(nèi)存直接高速訪問技術(shù),通過將 RDMA 協(xié)議固化于硬件(即網(wǎng)卡)上,以及支持 Zero-copy和 Kernel bypass 這兩種途徑來達到其高性能的遠程直接數(shù)據(jù)存取的目標。下圖為 RDMA 工作的原理圖,其通信過程使得用戶在使用 RDMA 時具備如下優(yōu)勢:

  • ?零拷貝(Zero-copy) - 應(yīng)用程序能夠直接執(zhí)行數(shù)據(jù)傳輸,在不涉及到網(wǎng)絡(luò)軟件棧的情況下。數(shù)據(jù)能夠被直接發(fā)送到緩沖區(qū)或者能夠直接從緩沖區(qū)里接收,而不需要被復制到網(wǎng)絡(luò)層。
  • ?內(nèi)核旁路(Kernel bypass) - 應(yīng)用程序可以直接在用戶態(tài)執(zhí)行數(shù)據(jù)傳輸,不需要在內(nèi)核態(tài)與用戶態(tài)之間做上下文切換。
  • ?不需要 CPU 干預(No CPU involvement) - 應(yīng)用程序可以訪問遠程主機內(nèi)存而不消耗遠程主機中的任何 CPU。遠程主機內(nèi)存能夠被讀取而不需要遠程主機上的進程(或 CPU)參與。遠程主機的 CPU 的緩存(cache)不會被訪問的內(nèi)存內(nèi)容所填充。?
  • ?消息基于事務(wù)(Message based transactions) - 數(shù)據(jù)被處理為離散消息而不是流,消除了應(yīng)用程序?qū)⒘髑懈顬椴煌?事務(wù)的需求。
  • ?支持分散/聚合條目(Scatter/gather entries support) - RDMA 原生態(tài)支持分散/聚合。也就是說,讀取多個內(nèi)存緩沖區(qū)然后作為一個流發(fā)出去或者接收一個流然后寫入到多個內(nèi)存緩沖區(qū)里去。

目前,RDMA 技術(shù)在超算、AI 訓練、存儲等多個高性能場景大量部署,已形成廣泛應(yīng)用。但是 RDMA 技術(shù)路線也有很多,用戶及各家廠商對于 RDMA 技術(shù)路線的選擇也不盡相同。

在三種主流的 RDMA 技術(shù)中,可以劃分為兩大陣營。一個是 IB 技術(shù), 另一個是支持 RDMA 的以太網(wǎng)技術(shù)(RoCE 和 iWARP)。其中,IBTA 主要聚焦 IB 和 RoCE 技術(shù),而 iWARP 則是在 IEEE/IETF 標準化的技術(shù)。在存儲領(lǐng)域,支持 RDMA 的技術(shù)早就存在,比如SRP(SCSI RDMA Protocol)和iSER(iSCSI Extensions for RDMA)。如今興起的 NVMe over Fabrics 如果使用的不是 FC 網(wǎng)絡(luò)的話,本質(zhì)上就是 NVMe over RDMA。換句話說,NVMe over InfiniBand, NVMe over RoCE 和 NVMe over iWARP 都是 NVMe over RDMA。

RoCE 成為主流但仍難以滿足業(yè)務(wù)需求?

以太網(wǎng)自面世以來,其生態(tài)開放多元、速率高速增長、成本優(yōu)勢明顯,因此業(yè)界應(yīng)用十分廣泛。在 RDMA 的多種技術(shù)路線中,RoCE 技術(shù)的應(yīng)用最為廣泛。在全球著名高性能計算榜單 Top500 中,以太互聯(lián)技術(shù)占比超過一半。

然而受限于傳統(tǒng)以太網(wǎng)絡(luò)的性能瓶頸,一般的 RoCE 應(yīng)用在高性能業(yè)務(wù)中,仍然存在擁塞丟包、延遲抖動等性能損失,難以滿足高性能計算和存儲的需求。

在高性能存儲集群中,F(xiàn)C 網(wǎng)絡(luò)具備連接保持技術(shù),網(wǎng)絡(luò)升級&進程故障業(yè)務(wù)不感知,同時 FC 協(xié)議長幀頭具備傳輸功能保障,協(xié)議開銷小,網(wǎng)絡(luò)無丟包,數(shù)據(jù)幀按序傳送,網(wǎng)絡(luò)可靠、時延低。相比 FC,傳統(tǒng)以太網(wǎng)容易出現(xiàn)擁塞丟包現(xiàn)象,丟包重傳容易產(chǎn)生數(shù)據(jù)亂序,網(wǎng)絡(luò)抖動較大,并且以太網(wǎng)采用的存儲轉(zhuǎn)發(fā)模式,查找流程較為復雜導致轉(zhuǎn)發(fā)時延較高,多打一場景會導致隊列積壓加劇,隊列時延不可忽視。在 HPC 應(yīng)用中,傳統(tǒng)以太消息封裝能力較弱,查表流程復雜導致轉(zhuǎn)發(fā)時延較高,網(wǎng)絡(luò)的傳輸損失會造成處理器空閑等待數(shù)據(jù),進而拖累整體并行計算性能,根據(jù) 2017 年 ODCC 組織的測試結(jié)果,傳統(tǒng)以太和專網(wǎng)相比,在超算集群應(yīng)用下,性能最高相差 30%。

總線級數(shù)據(jù)中心網(wǎng)絡(luò)DCN全以太超融合發(fā)展

高性能計算在金融、證券、教育、工業(yè)、航天、氣象等行業(yè)廣泛應(yīng)用,而時延是關(guān)鍵性能指標之一。由于以太網(wǎng)丟包、傳輸轉(zhuǎn)發(fā)機制等諸多原因,基于傳統(tǒng)以太的數(shù)據(jù)中心網(wǎng)絡(luò)時延大多處于毫秒級水平,無法支撐高性能計算業(yè)務(wù)。要使得 DC as a Computer 成為可能,數(shù)據(jù)中心網(wǎng)絡(luò)時延需要向總線級看齊。

總線級數(shù)據(jù)中心網(wǎng)絡(luò)內(nèi)涵?

傳統(tǒng)以太時延較高,無法滿足以高性能計算的性能要求。更為嚴峻的是,當前我國高性能存儲和高性能計算所采用的高端網(wǎng)絡(luò)互聯(lián)設(shè)備,均被國外廠商壟斷,價格昂貴、專網(wǎng)設(shè)備互通性差,并存在關(guān)鍵供貨被卡脖子的風險。

由于以太網(wǎng)的丟包、傳輸、轉(zhuǎn)發(fā)等諸多原因,傳統(tǒng)的數(shù)據(jù)中心網(wǎng)絡(luò)時延大多處于 ms 級水平,無法支撐高性能計算業(yè)務(wù)。隨著高性能業(yè)務(wù)的飛速發(fā)展,計算設(shè)備已由原先以 CPU 為代表的通用器件,轉(zhuǎn)而發(fā)展為以 GPU 為主的高性能器件,器件的性能大幅提升,這對以太網(wǎng)絡(luò)的性能提出了更高的要求。網(wǎng)絡(luò)時延由四部分組成:

  • 動態(tài)時延:主要由排隊時延產(chǎn)生,受端口擁塞影響;
  • 靜態(tài)時延:主要包括網(wǎng)絡(luò)轉(zhuǎn)發(fā)(查表)時延和轉(zhuǎn)發(fā)接口時延,一般為固定值,當前以太交換靜態(tài)時延遠高于超算專網(wǎng);
  • 網(wǎng)絡(luò)跳數(shù):指消息在網(wǎng)絡(luò)中所經(jīng)歷的設(shè)備數(shù);
  • 入網(wǎng)次數(shù):指消息進入網(wǎng)絡(luò)的次數(shù)??偩€級數(shù)據(jù)中心網(wǎng)絡(luò)在動態(tài)時延、靜態(tài)時延、網(wǎng)絡(luò)跳數(shù)以及入網(wǎng)次數(shù)幾個方面均作出了系統(tǒng)性的優(yōu)化,大幅優(yōu)化了網(wǎng)絡(luò)性能,已滿足高性能計算場景的實際訴求。

極低靜態(tài)轉(zhuǎn)發(fā)時延技術(shù),轉(zhuǎn)發(fā)時延從us降至百ns?

傳統(tǒng)的以太交換機在轉(zhuǎn)發(fā)層面,因需要考慮兼容性、支持眾多協(xié)議,導致轉(zhuǎn)發(fā)流程復雜,轉(zhuǎn)發(fā)時延較大。與此同時,以太查表算法復雜、查表時延大,導致整體轉(zhuǎn)發(fā)處理時延長。目前業(yè)界主流商用以太交換機的靜態(tài)轉(zhuǎn)發(fā)時延大約在600ns-1us 左右。面向大數(shù)據(jù)存儲和高性能計算業(yè)務(wù),若要以太網(wǎng)做到低時延,必須優(yōu)化轉(zhuǎn)發(fā)流程,降低數(shù)據(jù)轉(zhuǎn)發(fā)時延。

總線級數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)提出了一種極簡低時延以太轉(zhuǎn)發(fā)機制,利用虛擬短地址,實現(xiàn)了快速線性表轉(zhuǎn)發(fā)。基于虛擬地址路由轉(zhuǎn)發(fā)技術(shù),解決了傳統(tǒng)二層環(huán)路和鏈路利用率的問題,同時保證了規(guī)模部署和擴展靈活性。


根據(jù)應(yīng)用實測,目前低時延機制轉(zhuǎn)發(fā)機制能實現(xiàn) 30ns 以太芯片報文處理,實現(xiàn) 100ns 左右端到端單跳轉(zhuǎn)發(fā)靜態(tài)時延。該時延相比于業(yè)界主流歐美廠商的以太芯片轉(zhuǎn)發(fā)時延,提升了 6-10 倍。

Bufferless 無阻塞流控技術(shù),亞us級動態(tài)時延?

網(wǎng)絡(luò)擁塞會引起數(shù)據(jù)包在網(wǎng)絡(luò)設(shè)備中排隊甚至導致隊列溢出而丟棄,是導致網(wǎng)絡(luò)高動態(tài)時延的主要原因。
總線級數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)創(chuàng)新提出了收發(fā)混合驅(qū)動的網(wǎng)絡(luò)擁塞控制機制。數(shù)據(jù)報文分為無調(diào)度(Unscheduled)和有調(diào)度(Scheduled)兩類:無調(diào)度報文在端口級有限窗口控制下直接發(fā)送,快速啟動,保證高吞吐;有調(diào)度報文由接收端分配令牌報文(Token)后繼續(xù)發(fā)送,限制流量注入,提供(近似)零隊列,支撐更大的網(wǎng)絡(luò)規(guī)模。對兩類報文進行協(xié)同調(diào)度,進一步保證高吞吐低隊列。收發(fā)混合驅(qū)動的網(wǎng)絡(luò)擁塞控制機制實現(xiàn)了數(shù)據(jù)中心網(wǎng)絡(luò)高吞吐和近似零隊列,支撐大規(guī)模網(wǎng)絡(luò)動態(tài)實時無阻塞。

  • 最大吞吐保證:僅優(yōu)先發(fā)送部分報文,同樣提供最大吞吐保證。
  • 極低平均隊列時延:通過接收端調(diào)度,嚴格控制網(wǎng)絡(luò)注入流量,保證接近于0的平均隊列時延。
  • 極低最大隊列時延:對于不由接收端調(diào)度的報文,通過窗口限制注入流量,不會出現(xiàn)大幅震蕩,保證最大隊列時延極低。


DCI 長距無損技術(shù)動態(tài)時延,100KM內(nèi)長距無損?

在高性能存儲業(yè)務(wù)使用環(huán)境中,數(shù)據(jù)中心交換機之間涉及到遠端設(shè)備之間的擁塞問題。傳統(tǒng)的鏈路層流控技術(shù)采用粗暴的“停等”機制,當下游設(shè)備發(fā)現(xiàn)接收能力小于上游設(shè)備的發(fā)送能力時,會主動發(fā) Pause 幀給上游設(shè)備,要求暫停流量的發(fā)送。若采用傳統(tǒng)的流控機制,數(shù)據(jù)中心網(wǎng)絡(luò)遠端設(shè)備之間的流控會導致極高時延,以 100km 舉例,100Gbps 傳輸速率為例,基于傳統(tǒng)的 PFC 機制的設(shè)備間流控機制會產(chǎn)生將近 2ms 的時延,無法滿足高性能應(yīng)用的性能要求。

針對這個問題,總線級數(shù)據(jù)中心網(wǎng)絡(luò)提出了“點剎”式長距互聯(lián)的流控機制。采用細粒度的周期性掃描方式進行流控;每個周期檢測入口 buffer 的變化速率,通過創(chuàng)新算法計算要求上游停止發(fā)送時間;構(gòu)造反壓幀,發(fā)送給上游設(shè)備,包含了要求上游停止發(fā)送的時間。

網(wǎng)絡(luò)新拓撲架構(gòu)路由技術(shù),大規(guī)模組網(wǎng)實現(xiàn)跳數(shù)下降20%?

針對高性能計算場景,數(shù)據(jù)中心的流量特征關(guān)注靜態(tài)時延,需要支持超大規(guī)模,傳統(tǒng)的 CLOS 架構(gòu)作為主流的網(wǎng)絡(luò)架構(gòu),其主要關(guān)注通用性,但是犧牲了時延和性價比。業(yè)界針對該問題開展了多樣的架構(gòu)研究和新拓撲的設(shè)計。
當前數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)設(shè)計大多基于工程經(jīng)驗,不同搭建方式之間難以選擇,缺乏理論指導,缺乏統(tǒng)一性設(shè)計語言。另外網(wǎng)絡(luò)拓撲性能指標繁多,不同指標之間相互制約,指標失衡很難避免。

網(wǎng)算一體技術(shù),減少入網(wǎng)次數(shù)提升通信效率?

隨著分布式集群規(guī)模的增大,以及單節(jié)點算力的增長,分布式集群系統(tǒng)已經(jīng)逐漸從計算約束轉(zhuǎn)換為網(wǎng)絡(luò)通信約束。一方面,在過去 5 年,GPU 算力增長了近90 倍,而網(wǎng)絡(luò)帶寬僅增長了 10 倍;另一方面,當前的集群系統(tǒng)中,當 GPU 集群達到一定規(guī)模以后,即使增加計算節(jié)點數(shù),但由于分布式集群節(jié)點之間通信代價的增加,仍可能導致集群每秒訓練的圖片數(shù)量不增反減。

總結(jié)與展望

數(shù)據(jù)中心集合了極其豐富的軟硬件資源,從芯片到服務(wù)器,從存儲設(shè)備到網(wǎng)絡(luò)設(shè)施,從平臺軟件到應(yīng)用軟件,不一而足。要構(gòu)建強大算力,各類資源需要高度協(xié)同,深度融合。超融合正在成為下一代數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)的內(nèi)涵與精髓,政府、金融、運營商、互聯(lián)網(wǎng)等行業(yè)存在巨大的融合需求。

可以預見,未來超融合數(shù)據(jù)中心網(wǎng)絡(luò)與垂直行業(yè)的結(jié)合將會更加緊密。在這個長期的探索過程中,超融合數(shù)據(jù)中心網(wǎng)絡(luò)邁出了堅實的一步?;诳偩€級數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)的超融合數(shù)據(jù)中心打破了異構(gòu)協(xié)議間的屏障,提升數(shù)據(jù)跨資源的流通和處理效率,提高算力能效比。在全國一體化大數(shù)據(jù)中心建設(shè)的今天,必將為數(shù)據(jù)中心新基建的發(fā)展提供網(wǎng)絡(luò)性能的堅實保障。

本文參考自總線級數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)白皮書”。

下載鏈接:
總線級數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)白皮書

超融合數(shù)據(jù)中心網(wǎng)絡(luò)

中國聯(lián)通的開放網(wǎng)絡(luò)研究與實踐

中國聯(lián)通開放硬件網(wǎng)絡(luò)設(shè)備白皮書

白牌網(wǎng)絡(luò)及交換機白皮書匯總
1、掘金云數(shù)據(jù)中心白盒化趨勢.pdf
2、商用交換芯片SDN支持現(xiàn)狀分析.pdf
3、未來網(wǎng)絡(luò)白皮書——白盒交換機技術(shù)白皮書.pdf
4、協(xié)議無關(guān)交換機架構(gòu)技術(shù)與應(yīng)用白皮書.pdf
5、中國聯(lián)通開放硬件網(wǎng)絡(luò)設(shè)備白皮書.pdf
6、中興通訊CO重構(gòu)技術(shù)白皮書.pdf

來源:全棧云技術(shù)架構(gòu)


???????????????? ?END ?????????????????

免責申明:本號聚焦相關(guān)技術(shù)分享,內(nèi)容觀點不代表本號立場,可追溯內(nèi)容均注明來源,發(fā)布文章若存在版權(quán)等問題,請留言刪除,謝謝。



溫馨提示:
搜索關(guān)注“全棧云技術(shù)架構(gòu)”微信公眾號,“掃碼”或點擊“閱讀原文”進入知識星球獲取1000+份技術(shù)資料。


瀏覽 1721
點贊
評論
收藏
分享

手機掃一掃分享

分享
舉報
評論
圖片
表情
推薦
點贊
評論
收藏
分享

手機掃一掃分享

分享
舉報

感谢您访问我们的网站,您可能还对以下资源感兴趣:

国产秋霞理论久久久电影-婷婷色九月综合激情丁香-欧美在线观看乱妇视频-精品国avA久久久久久久-国产乱码精品一区二区三区亚洲人-欧美熟妇一区二区三区蜜桃视频 成人操B视频在线观看| 精品无码秘人妻一区二区三区| 法国《少女日记》电影| 丁香久久婷婷| 国产肏屄| 亚洲视频免费在线| 国产精品扒开腿做爽爽爽A片唱戏 中文字幕一区二区三区精华液 | 成人无码电影在线观看| 国产aa| 精品国产免费无码久久噜噜噜AV| 日韩一区在线播放| 嫩小槡BBBB槡BBBB槡漫画| 国产免费一区二区| 久艹| AV大全在线免费观看| 成人无码交配视频国产网站| 68久久久| 黄色一级片在线| 日韩无码高清一区| 搡BBBB推BBBB推BBBB| 婷婷五月视频| 操少妇逼| 五月丁香色播| 亲孑伦XXXⅹ熟女| 精品国产乱子伦一区二区三区,小小扐 | 99久久婷婷国产综合精品hsex | 人妻中文字幕av| 在线观看毛片网站| 综合色国产精品欧美在线| 51黄片库| 日韩无码黄片| 天天色AV| 中文字幕在线中文| 91国在线| 欧美精品成人网站| 91久久久久久久久久久| 丰满人妻一区二区免费看| 欧美成人视频在线观看| 中文字幕在线观| 毛片毛片毛片毛片毛片| 亚洲视频欧美视频| 日韩在线第—页| 久久秘成人久久无码| 国产乱婬AV片免费| 一区二区三区精品婷婷| 日韩国产在线观看| 婷婷五月在线视频| 人人操人人操人人操| 91精品久久久久久久久| 囯产精品99久久久久久WWW| 高清无码视频免费在线观看| 亚洲成人一二三区| 国产剧情一区二区| 午夜亚洲AV永久无码精品麻豆| 少妇人妻偷人精品无码视频新浪 | 亚洲免费视频在线| 日韩欧美爱爱| 亚洲最新中文字幕| 无码国产一区二区三区四区五区 | 天天撸天天干天天日| 特级西西444www大胆免费看| 爱爱视频免费看| 亚洲爱爱视频| 黄片视频在线免费观看| 国产91在线观看| 91精品人妻少妇无码影院| 亚洲精品一区二区三区无码电影 | 亚洲精品无码一区| 一级片电影网站| 日韩免费A| 极品美女援交在线| 无码免费观看| 日韩一级片在线观看| 亚洲高清无码在线| 特级西西WWW888| 天天视频色| 国产高清无码一区二区三区| 夜夜撸网站| 黄色视频在线网站| 日韩欧美手机在线| av777777| 91丨九色丨蝌蚪丨丝袜| 午夜天堂在线观看| 作爱网站| 久久国产乱子伦精品免费午夜...| 人成在线观看| 香蕉视频成人在线观看| 午夜视频成人| 玖玖资源在线观看| 亚洲一区高清无码| 成人福利视频在线| 亚洲欧美日韩成人| 国产精品777777| 日韩午夜无码| 三须三级久久三级久久18| 理论毛片| 亚洲欧美日本在线| 亚洲国产成人精品女人久久| 婷婷少妇激情| 熟女3p| www亚洲| 东北女人毛多又黑A片| 免费AV资源在线观看| 色噜噜在线观看| 亚洲AV无码精品岛国| 日韩不卡高清在线观看视频| 亚洲无码人妻一区| 丁香五月婷婷综合网| 日韩无码高清网站| 欧美成人乱码一区二区三区| 午夜成人国产| 天天拍夜夜爽| 人人色人人黄| 91人人妻人人澡人人爽人人精品 | 丁香婷婷激情| 91视频网站在线| 99re伊人| AV无码在线播放| 黄色网页在线免费观看| 91蝌蚪视频在线观看| 青娱乐AV在线| 人妻人人操人人爽| 日本久久久| 操逼视频在线播放| 无码黑人| 好吊视频一区二区三区| 乱码少妇| 亚洲国产一区二区在线| 亚洲人成免费网站| 国产传媒av| 欧美一级日韩三级| 欧美色图狠狠干| 豆花视频在线播放| 成人理论片| 另类欧美| 国产又爽又黄免费| 亚洲乱伦电影| 国产精品国产精品| 色色色五月| 一本一道无码| 久久性爱网站| 久热中文字幕| 殴美色色网| 女BBBBBB女BBB| 三级国产网站| 国产AV无码影院| 在线一区视频| 免费在线亚洲| 好吊顶亚洲AV大香蕉色色| 欧美精品福利| 无码一区二区三区在线观看| 无码插逼| 亚洲精品大片| 日本免费爱爱视频| 中文字幕精品在线免费视频观看视频| 亚洲三级网站在线观看| 亚洲中文字幕无码爆乳av| 99热青青| 亚洲欲色| 欧美一级棒| 18禁网站禁片免费观看| 日韩无码A片| 日本五十路| 91视频在线看| 国产毛片久久久久久国产毛片| 人妻在线无码| 日韩毛片一区二区| 无码二区三区| 丰满人妻无码| 激情国产在线| 久久性| 亚洲福利| 麻豆国产成人AV一区二区三区| 中文字幕日韩乱伦| 黄色动漫在线免费观看| 操逼福利视频| 亚洲成人免费在线观看| 老熟女乱伦| 日韩欧美中文| 999国产精品视频| 色婷婷狠狠操| 男女乱伦视频| 久久久综合| 91AV在线看| 日韩视频中文字幕| 午夜操一操一级| 亚洲天堂网2025| 荫蒂添到高潮免费视频| 国产乱伦内射| 影音先锋国产资源| 人人精品| 人人看人人搞人人摸| 爽爽午国产浪潮AV性色www| 成人视频A片| 国产理论片在线观看| 国产激情精品视频| 玖玖色视频| 亚洲无码蜜桃| 安徽妇搡BBBB搡BBBB| 婷婷五月丁香网| 日韩成人片| 国产黄色一区| 黄色电影av| 欧美在线大香蕉| 黄色影片在线观看| 亚洲婷婷五月| 国产女人18毛片水真多18| 欧美色色综合| 色屁屁草草影院ccyycom| 黄片免费视频在线观看| 久热精品视频| 午夜福利电影无码| 日本亚洲国产| 天堂AV在线免费观看| 艹逼视频网站| 大香蕉久久久| jizz日本护士| 三浦恵子一级婬片A片| 色拍拍视频| 成人日韩无码| 人人摸人人操人人摸| 国产三级图片| 国产黄色视屏| 波多野结衣亚洲| 亚洲任你操超碰在线| 六月综合激情| 久久国产毛片| 欧美精品无码| 亚洲无码久久| 国产性受XXXXXYX性爽| 国产成人欧美| 逼特逼视频在线观看| 天天伊人| 日韩v欧美v日本v亚洲v国产v | 亚人精品中文字幕在线观看| 久久爆乳一区二区三区| 51色片| 吃奶做爱视频| 激情成人五月天| 亚洲无码AV电影| 久久人操| chinese高潮老女人| 欧美成人毛片一级A片| jizz99| 色婷婷激情五月天| www激情| 射死你天天日| 豆花视频| 按摩性高湖婬AAA片A片中国| 就要干就要操| 中文无码日本一级A片久久影视| 狠狠久久| 91无码一区二区| 亚洲A片V一区二区三区| 大香蕉精品视频在线| 亚洲a视频在线| 国产成人在线视频免费| 爱操逼综合网| 影音先锋资源| 爱搞视频| 大香蕉超碰在线| 五月久久| 伊人久久久久久久久久久| 免费看黄色的视频| 国产AV一级片| 四虎激情| 午夜天堂精品久久久| 天天视频色| 人人妻人人澡人人爽久久| 久久嫩草| 黄片高清免费| 亚洲精品一区无码A片丁香花| 简单AV网| 在线精品福利| 夜夜骚精品人妻av一区| 日韩中文无码电影| 天天操天天撸| 狼人综合网| 亚洲高清无码视频在线播放| 伊人综合网站| 日韩欧美亚洲| 你懂得在线视频| 五月天久久婷婷| 亚洲欧美大香蕉视频网| 日韩在线中文字幕| www.99视频| 自慰喷水流白浆中文字幕| 久久久久亚洲AV无码专区| 色婷婷亚洲婷婷| 一区二区三区久久| 欧美视频久久| 日韩免费观看视频| 国产激倩都市一区二区三区欧美| 色欲av网站| 一级大片| 日色色色| 水蜜桃网站在线观看| 露脸丨91丨九色露脸| jizz18日本| 精品免费在线观看| 亚洲精品字幕| 日韩高清无码观看| 五月婷婷深深爱| 91丨人妻丨国产| 啊啊啊av| 人妖黄片| 能看的操逼视频| 久久国产综合| 久草在在线视频| 久久免费视频,久久免费视频| 肏屄在线视频| 麻豆性交| 2025av天堂网| 澳门av| 欧美熟女在线| 久久久网站| 国产3p绿帽骚妻视频| 日韩中文字码无砖| 亚洲啪啪网站| 一级欧美黑人大战白妞| 99久久综合| 欧洲无码精品| 躁BBB躁BBB添BBBBBB| 亚洲色图一区二区| 免费看黄色一级片| 男女啪啪网站| 黄色电影大香蕉| 香蕉视频国产| 国产熟女自拍| 亚洲免费观看高清完整版在va线观| 操欧美女人| 久久精品苍井空免费一区二| 黄网站在线观看| 天天躁夜夜躁av| 麻豆91在线| 7777精品伊人久久7777| 中文字幕+乱码+中文字幕在线| 菊花插综合网| 成人黄色性爱视频| 国产海角视频| 色福利视频| 丁香激情五月天| 日韩小视频+国产| 久久综合电影| 国产又粗又长又硬又大毛苴茸图片 | 亚洲黄片免费观看| 久久久久女人精品毛片九一| 午夜黄色影院| 国产成人内射| 无码av免费精品一区二区三区| 五月天亚洲激情| 日韩婬乱片A片AAA真人视频| 婷婷开心色四房播播在线| 免费黄色欧美| 亚洲欧美视频| 粉嫩小泬BBBBBB免费看| 麻豆一区二区三区| 五月六月婷婷| 免费黄片在线看| 国产中文字幕第一页| 国产电影一区二区三区| 人妻爽爽| 38t6电影网logo高清图片| 亚洲视频天天射| www.国产视频| 少妇搡BBBB搡BBB搡18禁| 免费AV片| 精品中文字幕视频| 大香蕉性爱视频| 国产熟女自拍| 毛片毛片毛片毛片| 99久久大香蕉| 超碰成人免费| 成人777777免费视频色| 97超碰大香蕉| AV在线四季综合网站| 欧美三级网| 无码不卡中文字幕| 一级AV片| 色综合大香蕉| 日韩精品| 国产在线视频91| 伊人色色视频| 黄色毛片一级| 五月婷婷性爱| 91人人妻人人澡人人爽人人| 宅男噜| 波多野结衣在线无码| 一级黄在线观看| 99热精品在线播放| 91在线免费播放| 搡BBBB搡BBB搡Bb| 99国产精品久久久久久久成人| 免费亚洲视频| 亚洲无吗在线观看| 国精产品秘一区二区| 色婷婷一区二区三区久久午夜 | 狠狠狠狠狠狠操| 欧美日韩激情| 五十路老国产| 中文字幕免费观看| 日韩不卡一区| 做爱网站在线观看| 一本色道久久综合亚洲精品小说| 精品国产一级A片黄毛网站| 日本A∨| 国产99久久| 午夜成人福利电影| 国产高清成人| 四虎无码丰满人妻| 国精产品久拍自产在线网站| 天天干在线观看视频| 色婷婷亚洲综合| 天堂视频在线观看亚洲美女| 在线国产视频| 日日操网| 麻豆精品国产| 日韩欧美高清第一期| 在线日韩国产| 欧美A片在线观看| 可以免费看av的网站| adn日韩av| 青青操在线| 探花熟女| 国产性爱av| 欧美mv日韩mv国产| 加勒比无码人妻| 你懂得在线观看| 黄片WWW| 江苏妇搡BBBB搡BBBB小说| 天天干天天日| 鸭子AV| 亚洲av男人天堂| 五月激情久久| 欧美一区二区三区四区视频| 99er在线| 日本成人激情视频| 国产一区二区三区免费播放| 日韩中文AV| 骚小姨子无码| 国产一级A片免费视频| 草比网站| 欧美精产国品一二三| 亚洲1区| 黄色视频免费观看| 四虎性爱| 中文久久久| 国产精品视频在线看| 中文字幕亚洲区| 精品欧美成人片在线| 天干天干天夜夜操| 亚洲国产免费| 操逼123首页| 亚洲综合在线视频| 色天使亚洲| 欧美日韩性色无码免费| 特级丰满少妇一级AAAA爱毛片| 性爱视频免费| 中文字幕日韩乱伦| 日韩人妻中文字幕| 亚洲不卡在线观看| A片黄色毛片| 2025精品偷拍视频| 日韩欧美国产成人| 欧美插插| 黄色三级网站| 色天天综合| 人妻爽爽| 加勒比DVD手机在线播放观看视频| 精品人妻一区二区蜜桃视频| 日韩日批| 中文字幕乱伦日本| 一级爱爱片| 亚洲AV成人无码一区二区三区| 欧美成人精品无| 黄片免费观看网站| 黄片免费高清| 国产三级黄色片| 18禁日韩| www.日本黄色视频| 欧美日韩在线观看一区二区三区| 操逼黄色视频| 久久久久久久精| av一区在线观看| 插插插插网| 亚洲成人免费网站| 玖玖在线播放| 精品精品视频| 五月天婷婷丁香| 91网在线| 国产精品久久久久无码AV| 欧美日韩性爰视频| 国产成人精品视频免费| 中文字幕高清无码在线| 91AV免费看| 伊人网视频在线观看| 中文字幕免费高清网站| 日韩小视频+国产| 国家一级A片| 黄色小视频免费看| 国产精品国三级国产a11| 熟女人妻在线视频| 日逼片A| 国产h视频在线观看| 中文字幕日本精品5| 丁香花免费高清视频小说完整 | 久久人妻熟女中文字幕av蜜芽 | 在线观看视频亚洲| 宅男噜| 亚洲欧美综合| 黄片高清无码| www.97色| 国产美女被爽到高潮免费A片软件 国产无遮挡又黄又爽又色视频软件 | 日本处女性高潮喷水视频| 亚洲人在线| NP玩烂了公用爽灌满视频播放 | 天天色小说| 成人怡红院| 草草久久久无码国产专区的优势| 老鸭窝成人视频| 精品国产精品国产精品国产网站| 伊人成人在线观看| 成人做爰黄AA片免费看三区| 中文字幕一区二区三区在线观看| 91精品91久久久中77777| 亚洲一级片| 亚洲免费网| 亚洲福利视频网站| www日本在线| 成人国产| 日本人妻A片成人免费看片| 日韩久久免费视频| 日本精品黄色视频| 成人H动漫精品一区二区无码| 亚洲无码中文人妻| 色婷婷丁香五月天| 亚洲成人AV在线观看| 国产女人18毛片水真多成人如厕| 97精品人人A片免费看| 偷偷操穴| 翔田千里珍藏版无码| www四虎| 三级黄片网站| 国产婬片一级A片AAA毛片AⅤ | 亚洲黄色视频网站| 中文国产字幕| 91人妻人人澡人人爽人人玩| 国产精品久久77777| 久久精品| 免费在线观看毛片| 婷婷夜色福利网| 亚洲天堂无码AV| 人妻免费在线视频| 国产免费一区二区三区免费视频 | 日本一级理论片在线大全| 日韩毛片视频| 亚洲国产成人综合| 欧美三级片网| 日韩精品一区二区亚洲AV观看| 色图插插插| 欧美日韩中国操逼打炮| 国产无码片| 亚洲国产成人电影| 成人福利在线观看| 日韩一级片在线| 在线免费亚洲视频| 亚洲中文字幕在线观看视频网站 | 色吧五月| 九一精品| 国产精品网站在线观看| 人人摸人人插| 波多野结衣一二三区| 十八无码成人免费网站| 无码日韩成人| 日皮做爱视频网站| 久久大香| 91人妻在线视频| 91精品无码视频| 天堂在线观看av| 天堂网2018| 在线免费亚洲视频| 你懂的在线视频| 三级乱伦| 91在线无码精品秘蜜桃入口| 亚洲精品无码a片| 69国产精品无码免费| 欧美日韩性色无码免费| 人妖黃色一級A片| 日韩无码人妻一区二区三区| 九九久久精品| 国产成人免费在线观看| 色呦呦一区二区三区| 超碰免费人妻| 亚洲无码色色| 国精产品一二三区| 夜夜操狠狠操| 亚日韩在线| 欧美日本成人网站入口| 51福利视频| 西西特级无码444www| 无码四区| 中文一区| 囯产精品99久久久久久WWW| 在线三级片视频| 北条麻妃亚洲无码| 黄片中文| 伊人蕉 | 欧美国产另类| www国产| 五月丁香综合久久| 成年人在线视频| 婷婷色色五月天| 在线免费观看黄| 丁香五月影院| 日韩欧美国产精品| 高清无码视频观看| 97国产资源| 成人精品一区日本无码网站suv| 国产91在线拍揄自揄拍无码九色| 影音先锋女人aV鲁色资源网站| 国产三级日本三级国产三级| 女人18特级毛片。| 伊人97| 午夜精品秘一区二区三区| 青青草免费公开视频| 最新中文字幕在线视频| 欧美在线视频免费观看| 伊人视频在线| 操逼视频网址| 人人色人人看| 蝌蚪窝免费视频| 成人伊人电影| 婷婷亚洲精品| 仓井空一区二区三区| 日本无码毛片| 久久国产2025| 好吊妞操| 狠狠操夜夜操| 天天干天天日蜜臀色欲av| 亚洲精品无码人妻| 国产精品久久久一区二区三区| 久操综合视频在线| 手机在线小视频| 操逼综合网| 99精品视频在线| 日日撸夜夜撸| 亚洲无码性爱| 无码电影网站| 天天干B| 人妻少妇无码视频| 伊人久久中文字幕| 男人在线天堂| 欧美三级美国一级| 先锋影音av资源站| AV福利在线| 国产精品无码免费视频| 亚洲伊人综合| 欧美在线色| www.婷婷色| 国产老熟女久久久| 大香蕉免费在线观看| 日本久热| 成人AV一区二区三区| 91精品国产一区二区| 日本成人电影一区二区三区| 9l视频自拍九色9l视频成人| 久久久久久伊人| 97国产精品久久| 国产1区2区3区中文字幕| 北条麻妃在线一区二区| 中文字幕乱码无码人妻系列蜜桃 | 先锋影音资源一区| 东京热视频网址| 青青草网站在线观看| 一级特黄A片| 一级二级三级毛片| 插穴网站| 国产精品av在线播放| 影音先锋在线视频观看| 免费无码蜜臀在线观看| 精品国产天线2024| 亚洲欧美影院| 99精品免费在线观看| 大香蕉在线75| 色天使AV| 国产迷奸视频| 躁BBB躁BBB躁BBBBB乃| 操操网| 久久噜噜噜精品国产亚洲综合| 久久99久久99久久99人受| 91丨熟女丨首页| 污污污www精品国产网站| 深爱五月婷婷| 免费看无码一级A片放24小时| 成人精品一区二区三区| 亚洲成人黄色电影| 天堂无线av无码av| 日本成人中文字幕在线观看| 久久精彩| 手机看片福利视频| 婷婷黄色网| 欧美日韩综合网| 熟女熟妇人妻一区二区三区| 996re| 日韩区一中文字幕a∨| 亚洲在线高清| 中文字幕不卡无码| 夜夜嗨av| 日韩无码一二三| 五月激情综合网| 国产成人Av| 婷婷亚洲精| 麻豆艾秋MD0056在线| 俺也色俺也干| 国产乱色精品成人免费视频| 天堂色播| 色色色色综合| 伊人影院久久| 午夜性爱AV| 国产成人无码永久免费| 先锋影音资源av| 国产成人一区二区| 北条麻妃无码视频| 国产主播av| 欧美大胆a| 十八无码成人免费网站| 日韩精品A片| 日本成人电影在线观看| 日本三区| 刘玥91精一区二区三区| 一区二区三区毛片| 超碰自拍| 做爱视频网站18| 国产精品成人3p一区二区三区| 人人摸人人摸人人| 亚洲成人网站免费观看| 俺去也www俺去也com| 国产在线网址| 天天色情| 操逼视频国产| 麻豆一区| 男女网站在线观看| 五月婷婷俺也去| 精品成人在线观看| 青青草公开视频| 黄色电影中文字幕| 国产精品人妻AⅤ在线看| 欧美日本在线| 蜜桃一区二区中午字幕| 欧美在线观看网站18| 躁BBB躁BBB躁BBBBBB日视频| 国产乱子伦一区二区三区免看| 肏网站| 成人精品久久| 日韩人妻无码一区二区三区99| 99在线视频观看| 人人爱人人插高清| 黄色av网站在线观看| 国产精品秘ThePorn| 国产精品成人一区二区| 极品AV| 中文字幕在线免费视频| 欧美夜夜草视频| 自拍视频在线| 黄色片成人| 无码人妻丰满熟妇精品| 欧美色色色色色| 久久久久久亚洲Av无码精品专口 | 嫩BBB槡BBBB槡BBB| 四虎无码丰满人妻| 欧美特黄AAAAAA| 国产三级精品三级在线观看| 99国产热| h网站在线| 先锋影音av资源网| 国产又爽又黄免费视频网站| 成人无码小电影| 美女操b| 无码精品一区二区在线| 九九精品久久| 中文字幕在线免费观看视频| 亚洲精品中文字幕在线| 国产字幕在线观看| 成人亚洲综合| 操屄视频在线| 九九九精彩视频| 肏少妇女情人大骚逼直播一区二区| 大香蕉亚洲网| 午夜福利视频3000| 91ThePorn国产在线观看| 西西444www| AV热热| 免费在线无码视频| wwwAV在线观看| 91久久国产综合久| 日韩精品成人| 蜜臀久久99精品久久一区二区| 国产精品国产三级国产| 日韩区一中文字幕a∨| 亚洲欧美视频在线| 男女日皮视频| 狼友视频免费观看| 欧美小黄片| 国产女同性系列| 婷婷五月中文字幕| 日韩一级性爱| 无码一区二区黑人猛烈视频网站 | 国产女人18毛片水真多18精品| 狠狠的操| 伊人色色| 亚洲一级性爱| 国产精品卡一卡二| 在线观看免费黄色视频| 亚洲国产区| 午夜黄色视频在线观看| 2025国产成人精品一区| 免费看黄色大片| 亚洲精品色色| 亚洲中文第一页| 亚洲中文免费视频| 亚洲日韩视频在线观看| 老司机无码| 国产aaaaaaaaaa| JLZZJLZZ亚洲女人| 欧美激情一区二区| 又大又长又粗91| 色欲大香蕉| 日韩精品中文字幕无码| 99操| 香蕉视频a| www.a片| 五月婷婷色色| 亚洲永久在线| 91人妻中文字幕| 日日拍夜夜拍| 欧美黄网站| 日韩激情视频在线观看| www.a片| 玩弄人妻少妇500系列视频| 4虎亚洲人成人网www| 人人妻人人操人人干| 91人妻综合| 日本久久网| 久久澡| 久久精品一二三| 久久激情视频| 精品91美女| 三级视频国产| 国产美女全裸网站| 91九色蝌蚪| 不卡无码av| 亚洲色射| 婷婷五月天av| 91色视频在线观看| 欧美熟妇搡BBBB搡BBBBB| 色色资源网| 久操综合视频在线| 欧美黄色免费在线观看| 粉嫩小泬BBBBBB免费| 18禁黄网站| 天天日AV| 少妇搡BBBB搡BBB搡造水多| 大香蕉网址| AV无码资源| 成人欧美精品| 国产精品无码永久免费不卡| 最新久欠一区二区免费看| 精品一区二区三区四| 亚洲一区二区三| 亚洲午夜久久久之蝌蚪窝| 青青青亚州视频在线| 99爱爱| 亚洲天堂av在线观看| 国产久久久久久久久久| 伊人精品视频| 国产激情视频在线免费观看| 在线免费中文字幕| 国产一级a毛一级a做免费高清视频| 阿宾MD0165麻豆沈娜娜| 国产精品1区2区3区| 91视频久久久| 99草自拍| 欧美国产综合在线| 少妇在线| 日本少妇久久| 日韩在线成人视频| 五月丁香欧美| 激情婷婷av| 天堂网在线观看| 18禁网站| 狠狠色狠狠撸| 成年人免费视频网站| 无码中文字幕| 2024国产精品| 人妻一区| 影音先锋成人视频| 中文字幕无码网站| 欧美成人精品AAA| aaa精品视频| 青娱乐伊人|