1. <strong id="7actg"></strong>
    2. <table id="7actg"></table>

    3. <address id="7actg"></address>
      <address id="7actg"></address>
      1. <object id="7actg"><tt id="7actg"></tt></object>

        【深度學(xué)習(xí)】如何配置一臺(tái)深度學(xué)習(xí)工作站?

        共 3528字,需瀏覽 8分鐘

         ·

        2020-08-24 12:13


        極市導(dǎo)讀

        ?

        本文介紹了家用的深度學(xué)習(xí)工作站的兩種典型配置,以及各類硬件的參數(shù)介紹和選擇方案,可以作為選購(gòu)時(shí)的參考。

        這篇文章主要介紹的是家用的深度學(xué)習(xí)工作站,典型的配置有兩種,分別是一個(gè) GPU 的機(jī)器和四個(gè) GPU的機(jī)器。如果需要更多的 GPU 可以考慮配置兩臺(tái)四個(gè) GPU 的機(jī)器。

        如果希望一臺(tái)機(jī)器同時(shí)具備 6~8 個(gè) GPU 需要聯(lián)系專門(mén)的供應(yīng)商進(jìn)行配置,并且有專業(yè)的機(jī)房存放,放在家里噪聲很大并且容易跳閘。


        CPU

        由于最近 AMD 和 Intel 頻繁更新 CPU,因此大家選擇新款的 CPU 比較好。

        CPU 與 GPU 的關(guān)系

        CPU 瓶頸沒(méi)有那么大,一般以一個(gè)GPU 對(duì)應(yīng) 2~4 個(gè) CPU 核比較好,比如單卡機(jī)器買(mǎi)四核 CPU,四卡機(jī)器買(mǎi)十核 CPU。

        當(dāng)你在訓(xùn)練的時(shí)候,只要數(shù)據(jù)生成器(DataLoader)的產(chǎn)出速度比 GPU 的消耗速度快,那么 CPU 就不會(huì)成為瓶頸,也就不會(huì)拖慢訓(xùn)練速度。

        PCI-E 支持情況

        除了核數(shù),你還需要注意 PCI-E 支持情況,一般顯卡是 PCI-E 3.0 x16,比如 i9-9820X 的 PCI-E 通道數(shù)是 44 ,配置四卡的話,只能支持 1x16+3x8+1x4,也就是單卡全速,三卡半速,一個(gè) NVMe 固態(tài)硬盤(pán)。這種情況下可以考慮選擇帶有 PLX 橋接芯片的主板。

        AMD 的 2990WX 有 64條 PCI-E,但是只支持 x16/x8/x16/x8 的四卡配置。

        英特爾CPU

        英特爾CPU

        雙卡機(jī)器選 i9-9900K,四卡機(jī)器按照預(yù)算選X系列的CPU。

        主板

        主板需要注意:

        • CPU 接口是否能對(duì)上,如LGA2066 和 SocketTR4

        • PCI-E 插槽的高度是否夠插顯卡,比如 PCI-E 插口之間的距離至少要滿足雙槽寬顯卡的高度

        • PCI-E 同時(shí)可以支持幾張卡以什么樣的速度運(yùn)行,如 1x16 + 3x8 是常見(jiàn)的配置


        主板必看參數(shù)

        GIGABYTE X299 AORUS MASTER (rev. 1.0)?使用了 4 組 2 槽間距顯卡插槽設(shè)計(jì),支持1x16、2x16、2x16 + 1x8、1x16 + 3x8 四種配置(需要十核以上的 CPU),這里請(qǐng)參閱說(shuō)明書(shū)安裝顯卡,安裝在不同位置的速度是不一樣的:

        GIGABYTE X299 AORUS MASTER (rev. 1.0)

        GIGABYTE X299 AORUS MASTER manual

        帶有橋接芯片的主板

        有的主板如 WS X299 SAGE 帶有 PLX 橋接芯片,可以在 CPU 沒(méi)有足夠 PCI-E 的情況下達(dá)到四卡 x16 的速度:

        WS X299 SAGE

        WS X299 SAGE User Guide

        在多卡并行訓(xùn)練的時(shí)候,PCI-E 的傳輸速度決定了梯度同步的速度,如果你訓(xùn)練的的模型比較大,希望搭建多卡機(jī)器,建議選擇支持四路 PCI-E x16 的主板。

        顯卡

        顯卡性能表


        訓(xùn)練需要 FP32 和 FP16 的性能,推斷需要 INT8 的性能。訓(xùn)練大模型需要注意顯存大小。
        考慮成本可以買(mǎi) RTX 2080Ti,想要高性能并且高性價(jià)比可以買(mǎi) TITAN RTX,土豪可以選 Tesla V100。

        RTX 2080 顯存較小,不推薦。GTX1080Ti 已經(jīng)出了太久了,網(wǎng)上都是二手卡,不推薦。

        渦輪與風(fēng)扇

        采購(gòu)顯卡的時(shí)候,一定要注意買(mǎi)渦輪版的,不要買(mǎi)兩個(gè)或者三個(gè)風(fēng)扇的版本,除非你只打算買(mǎi)一張卡。

        因?yàn)闇u輪風(fēng)扇的熱是往外機(jī)箱外部吹的,所以可以很好地帶走熱量,散熱比較好。如果買(mǎi)三個(gè)風(fēng)扇的版本,插多卡的時(shí)候,上面的卡會(huì)把熱量吹向第二張卡,導(dǎo)致第二張卡溫度過(guò)高,影響性能。

        風(fēng)扇顯卡很有可能是超過(guò)雙槽寬的,第二張卡可能插不上第二個(gè) PCI-E 插槽,這個(gè)也需要注意。

        渦輪散熱

        風(fēng)扇散熱

        服務(wù)器推斷卡

        除了用于訓(xùn)練,還有一類卡是用于推斷的(只預(yù)測(cè),不訓(xùn)練),如:


        這些卡全部都是不帶風(fēng)扇的,但它們也需要散熱,需要借助服務(wù)器強(qiáng)大的風(fēng)扇被動(dòng)散熱,所以只能在專門(mén)設(shè)計(jì)的服務(wù)器上運(yùn)行,具體請(qǐng)參考英偉達(dá)官網(wǎng)的說(shuō)明。

        性價(jià)比之選應(yīng)該是 Tesla T4,但是發(fā)揮全部性能需要使用 TensorRT 深度優(yōu)化,目前仍然存在許多坑,比如當(dāng)你的網(wǎng)絡(luò)使用了不支持的運(yùn)算符時(shí),需要自己實(shí)現(xiàn)。

        英偉達(dá)只允許這類卡在服務(wù)器上運(yùn)行,像 GTX 1080Ti、RTX 2080Ti 都是不能在數(shù)據(jù)中心使用的。
        No Datacenter Deployment. The SOFTWARE isnot licensed for datacenter deployment, except that blockchain processing in adatacenter is permitted.



        硬盤(pán)

        硬盤(pán)類型

        常用硬盤(pán)接口有三種:
        SATA3.0,速度 600MB/s
        SAS,速度 1200MB/s
        PCIE 3.0 x4(NVMe),速度 3.94GB/s

        參數(shù)對(duì)比

        下面是根據(jù)代表產(chǎn)品查詢的參數(shù):


        注:
        4K 隨機(jī)讀寫(xiě)的隊(duì)列深度為 32
        SATA3 機(jī)械硬盤(pán)沒(méi)有太好的數(shù)據(jù)來(lái)源,所以數(shù)據(jù)是經(jīng)驗(yàn)值
        SATA3 固態(tài)硬盤(pán)數(shù)據(jù)來(lái)源:三星(SAMSUNG)1TB SSD固態(tài)硬盤(pán) SATA3.0接口 860 EVO
        NVMe 固態(tài)硬盤(pán)數(shù)據(jù)來(lái)源:英特爾(Intel)1TB SSD固態(tài)硬盤(pán) M.2接口(NVMe協(xié)議) 760P系

        在面對(duì)大量小文件的時(shí)候,使用 NVMe 硬盤(pán)可以一分鐘掃完 1000萬(wàn)文件,如果使用普通硬盤(pán),那么就需要一天時(shí)間。為了節(jié)省生命,簡(jiǎn)化代碼,硬盤(pán)建議選擇 NVMe 協(xié)議的固態(tài)硬盤(pán)。
        如果你的主板不夠新,沒(méi)有NVMe 插槽,你可以使用 M.2 轉(zhuǎn)接卡將 M.2 接口轉(zhuǎn)為PCI-E 接口。
        M.2 轉(zhuǎn)接卡




        內(nèi)存

        內(nèi)存容量的選擇通常大于顯存,比如單卡配 16GB 內(nèi)存,四卡配 64GB 內(nèi)存。由于有數(shù)據(jù)生成器(DataLoader),數(shù)據(jù)不必全部加載到內(nèi)存里,通常不會(huì)成為瓶頸。



        電源

        先計(jì)算功率總和,如單卡 CPU 100W,顯卡 250W,加上其他的大概 400W,那么就買(mǎi) 650W 的電源。

        雙卡最好買(mǎi) 1000W 以上的電源,四卡最好買(mǎi) 1600W 的電源,我這里實(shí)測(cè)過(guò)四卡機(jī)用 1500W 的電源來(lái)帶,跑起來(lái)所有的卡以后會(huì)因?yàn)殡娫床蛔愣詣?dòng)關(guān)機(jī)。

        一般墻上的插座只支持 220V 10A,也就是 2200W 的交流電,由于電源要把交流電轉(zhuǎn)直流電,所以會(huì)有一些損耗,最高只有1600W,因此如果想要支持八卡,最好不要在家嘗試。八卡一般是雙電源,并且需要使用專用的 PDU 插座,并且使用的是 16A 插口,如果在家使用,會(huì)插不上墻上的插座。



        網(wǎng)卡

        一般主板自帶千兆網(wǎng)卡。如果需要組建多機(jī)多卡集群,請(qǐng)聯(lián)系供應(yīng)商咨詢專業(yè)的解決方案。



        機(jī)箱

        如果配單卡,可以直接買(mǎi)個(gè)普通機(jī)箱,注意顯卡長(zhǎng)度能放下就行。
        如果配四卡機(jī)器,建議買(mǎi)一個(gè) Air 540 機(jī)箱,因?yàn)槲艺谟眠@一款。



        Air 540


        顯示器

        深度學(xué)習(xí)工作站裝好系統(tǒng)以后就不需要顯示器了,裝系統(tǒng)的時(shí)候使用手邊的顯示器就行。



        鍵盤(pán)鼠標(biāo)

        深度學(xué)習(xí)工作站裝好系統(tǒng)以后就不需要鍵盤(pán)鼠標(biāo)了,裝系統(tǒng)的時(shí)候使用手邊的鍵盤(pán)鼠標(biāo)就行。

        ?

        參考鏈接

        Turing 架構(gòu)白皮書(shū)

        Volta 架構(gòu)白皮書(shū)

        RTX 2080 Ti Deep Learning Benchmarks with TensorFlow - 2019

        https://developer.nvidia.com/deep-learning-performance-training-inference

        https://www.nvidia.cn/object/where-to-buy-tesla-catalog-cn.html

        https://www.supermicro.org.cn/support/resources/gpu/

        https://www.geforce.com/drivers/license/geforce



        往期精彩回顧





        獲取一折本站知識(shí)星球優(yōu)惠券,復(fù)制鏈接直接打開(kāi):

        https://t.zsxq.com/662nyZF

        本站qq群1003271085。

        加入微信群請(qǐng)掃碼進(jìn)群(如果是博士或者準(zhǔn)備讀博士請(qǐng)說(shuō)明):

        瀏覽 41
        點(diǎn)贊
        評(píng)論
        收藏
        分享

        手機(jī)掃一掃分享

        分享
        舉報(bào)
        評(píng)論
        圖片
        表情
        推薦
        點(diǎn)贊
        評(píng)論
        收藏
        分享

        手機(jī)掃一掃分享

        分享
        舉報(bào)
        1. <strong id="7actg"></strong>
        2. <table id="7actg"></table>

        3. <address id="7actg"></address>
          <address id="7actg"></address>
          1. <object id="7actg"><tt id="7actg"></tt></object>
            午夜草视频 | 国产日皮视频 | 黄色日本网站 | 男生用鸡鸡桶女生 | 免费无遮挡婬乱A片 | 精品国产福利 | 色五月色婷婷AV在线 | 久综合 | 日韩欧美成人一区二区三区 | 日本东京热一区二区 |