先進計算發(fā)展研究報告
超算改變計算系統(tǒng)架構，E級超算時代，HPC會帶來多少可能？AI已經走進各行各業(yè)，詳情參閱麥肯錫報告。
計算設備和計算系統(tǒng)在外觀形態(tài)、部署方式、應用特性等方面雖發(fā)生了翻天覆地的變化，但體系結構依然遵從馮諾依曼架構，計算設備的主要組成部件以及彼此之間的交互機制也相對穩(wěn)定。與數據處理相關的運算器和控制器、與數據存儲相關的各類存儲模塊、以及數據在上述兩大單元間實現交互的通信類接口和模塊是構成計算設備和計算系統(tǒng)的主要功能模塊，也是構成計算技術體系的三大重點單元。
下載鏈接：先進計算發(fā)展研究報告
CPU、GPU、FPGA 是目前通用計算領域的三大主流計算芯片。CPU芯片兼顧控制和計算，是構成筆記本、智能終端及服務器計算硬件主體。
三大計算芯片技術創(chuàng)新依然活躍。一方面持續(xù)挖掘傳統(tǒng)架構技術潛力。CPU 不斷優(yōu)化現有架構技術能力，采用亂序執(zhí)行、超標量流水線、多級緩存等技術提升整體性能表現；GPU 持續(xù)探索高效的圖形處理單元、流處理單元和訪存存取體系等，并優(yōu)化編程框架降低 GPU 編程和應用程序移植難度；FPGA 不斷強化應用功能的豐富完善，升級芯片內部組件以適應廣泛的加速場景，并發(fā)展基于 C/C++、OpenCL 等軟件工具開發(fā)生態(tài)，降低開發(fā)者門檻。另一方面均通過引入專用計算能力迎合人工智能等新興領域的計算需求。
AI ASIC 現已成為專用計算加速芯片創(chuàng)新的典型代表。專用集成電路（ASIC）意指針對特定領域、特定算法需求設計的電路，與通用芯片相比面積小、性能高、功耗低，大規(guī)模量產后具備成本優(yōu)勢，可廣泛應用在市場需求量大的專用領域。目前為滿足人工智能應用計算需求的 AI ASIC 是創(chuàng)新的焦點所在，升級重點圍繞指令集、計算架構、訪存體系、交互通信等四大方面。
指令集方面，主要針對深度學習算法中高頻、高耗時的矩陣、向量等邏輯運算進行優(yōu)化，并簡化與算法無關的分支跳轉、緩存控制等邏輯控制指令。
計算架構方面，多選擇眾核等高并行架構進行設計，并集成矩陣乘加等專用運算單元增強針對深度學習算法共性計算需求的支撐能力。如谷歌將張量處理單元（TPU）引入脈動陣列架構，實現數據高效復用功能，提升并行處理能力；集成超過6 萬個計算核心單元組成專用矩陣乘加模塊，提升深度學習算法計算效率。
存儲方面，應用高帶寬內存等新型技術提升內存帶寬，結合片上內存、數據復用、模型壓縮等手段降低內存存取頻次。如寒武紀公 司早期學術論文中即提出可采用大量的片上存儲設計來降低片外存儲訪問需求和數據訪問功耗，這一設計方案目前也被谷歌等眾多企業(yè)廣泛采用。
互聯(lián)方面，配置新型 PCIe 5、CCIX 等高速易擴展的異構互聯(lián)總線，通過帶寬加速緩解海量數據頻繁讀取所導致的高延時問題。
結合場景需求和算法特征定向優(yōu)化，AI ASIC 芯片差異化創(chuàng)新加 速。由于人工智能的不同應用場景間差異性較大，難以通過一款通用人工智能芯片適合所有領域，隨著各應用場景定位和需求的逐步明確，AI ASIC 呈現多技術路線分化態(tài)勢。深度學習計算主要分為訓練和推理兩個階段。
其中，深度學習模型訓練以高性能、高精度、通用化的計算能力為主，芯片需堆疊大量高精度浮點運算單元、高帶寬內存和專用計算單元等提升訓練效率，但受限于高能耗目前多集中在云端部署實施。推理階段則因應用場景的不同而各具差異，云端推理芯片多應用低位寬定點運算單元、片上內存等實現高通量、低延時、通用化的推理能力;端側推理芯片則需要深度耦合特定場景和神經網絡算法，利用低位寬低精度運算、模型壓縮等技術實現低時延或低功耗等差異化場景需求。
數據存儲技術發(fā)展迅速，現有體系不斷演進。自“存儲程序”的計算機體系確立起來，存儲單元始終與數據處理單元同步升級。
半導體存儲器根據是否需要供電實現數據保存可分為易失性存儲器和非易失性存儲器，其中，易失性存儲器以 DRAM 內存為代表，廣泛應用于移動設備和服務器設備中，并通過架構創(chuàng)新、TSV 先進封裝等不斷提升存儲密度、降低延時；
非易失性存儲器以 NAND 閃存為代表，以其為介質的固態(tài)硬盤正替代傳統(tǒng)機械硬盤，成為數據中心的主流存儲器件，現階段圍繞 3D 集成、層數堆疊等方向升級存儲容量。
此外，相變存儲器、磁阻式存儲器、阻變式存儲器、磁疇壁存儲器等新型非易失性存儲器，因兼具密度高、功耗低、讀寫快、反復操作耐受力強等優(yōu)勢，備受業(yè)界關注。
非易失性內存等新型存儲技術創(chuàng)新活躍，或將變革現有存儲層次結構?，F有計算設備和系統(tǒng)中數據存儲單元是由片上緩存、片外內存、固態(tài)硬盤等構成的多級存儲架構，通過多級存儲彌補處理器和存儲器間巨大的速度差異，但一旦需跨多級讀取數據就會帶來大量的數據傳輸層數和 I/O 調度的額外開銷。
高帶寬和直接內存訪問是目前緩解馮諾依曼瓶頸、提升計算效率的重要創(chuàng)新方向。除了提升總線和以太網交換速度等傳統(tǒng)升級手段外，板卡級和系統(tǒng)級數據交換分別以內存共享、遠程直接內存訪問（RDMA）等為方向提升內存存取性能。
板卡級層面，通過引入統(tǒng)一的虛擬內存（UVA）和 NVLink 高速總線技術，可實現“CPU+GPU”異構并行計算中跨節(jié)點內存操作，以緩解 GPU 因單節(jié)點本地內存不足而降低并行效率的問題：一方面 UVA 允許多個 GPU 節(jié)點之間合并共享彼此的顯存空間，并允許 GPU 直接訪問并利用系統(tǒng)內存，另一方面從 PCIe 總線升級到 NVLink 總線，提升內存空間數據傳輸速度，可實現數據交換總體效率提升接近 10 倍。
系統(tǒng)級層面，傳統(tǒng)的 TCP/IP 網絡通信是通過內核發(fā)送消息，并經過一系列多層網絡協(xié)議的數據包處理工作，由此會帶來高額的 I/O 處理開銷，限制了跨服務器間傳輸的帶寬及靈活性。RDMA 技術在無需操作系統(tǒng)介入情況下，實現數據從系統(tǒng)內存直接傳輸到遠程系統(tǒng)存儲器，消除了外部存儲器復制和上下文切換的開銷，實現了高吞吐、低延時的網絡數據通信，目前 InfiniBand、iWARP、 RoCE 等常見高速互聯(lián)傳輸技術均支持 RDMA 技術。
CPU+GPU、CPU+MIC、CPU+FPGA 是目前三大主流的異構計算技術。端側異構已較為普及，云側成為下階段發(fā)展的重點。數據中心異構體系開啟由 GPU 到 FPGA 的新變革。
異構計算硬件先行，軟件作用日趨凸顯。隨著大數據時代的到來，異構計算已成為突破計算能力和功耗瓶頸的有效途徑之一。異構計算共歷經四大發(fā)展階段，分別是單純挖掘并行潛力、添加專用加速單元、針對特定應用領域定制、多種平臺的高效融合。
目前異構計算的發(fā)展重心已經從硬件開發(fā)轉移到深化應用、軟硬件融合創(chuàng)新階段，軟件對異構計算的支撐作用越來越明顯。計算系統(tǒng)會應用到多種硬件體系結構，例如搜索、解析等有大量控制代碼的程序主要運行在 CPU上；
大量數據處理的程序適合運行在 GPU、DSP 等矢量體系結構處理芯片上；大量專用計算的應用適合在 FPGA、ASIC 等針對應用進行優(yōu)化的芯片上執(zhí)行。為了提高程序執(zhí)行性能，需要 OpenCL 等標準化的異構編程框架，來完成跨平臺的并行編程任務，從而實現對底層多種硬件平臺的高效利用。
目前全球 TOP500 HPC 中 有 100 家使用 GPU 加速，96%采用了英偉達的 Tesla 系列 GPU 產品；百度、谷歌、Facebook 等超大規(guī)模云計算中也部署了 GPU 密集計算能力。利用 FPGA、ASIC 等提升云端異構計算能力仍在不斷深化，如英特爾已提供整合 Altera 的異構平臺方案，賽靈思也與 IBM 合作加速布局，預計 2020 年 1/3 的云服務商將采用 FPGA；谷歌 TPU 開放 1000個云 TPU 服務集群，每個云 TPU 最高可達 180TFLOP/s 浮點計算，配 備 64GB 帶寬內存。
分布式計算是一種共享軟硬件資源的計算形式。分布式計算正由中心能力集聚向邊緣融合擴充發(fā)展。內存內計算是目前最主流的內存計算方式。SAP HANA 和 Apache Spark 分別是當前較主流的商業(yè)和開源內存內計算技術。
多數云數據中心是集中化的，離終端設備和用戶比較遠，對于實時性要求高的計算服務通常會引起長距離往返延時、網絡擁塞、服務質量下降等問題。而邊緣計算是將數據在邊緣網絡進行本地化處理，包括終端設備、邊緣設備、邊緣服務器等，強調計算的去中心化/去本地化部署，計算服務需求響應更快。
Hadoop、Spark 和 Storm 是目前最重要的三大分布式計算系統(tǒng)。三者作為目前較為主流的分布式計算框架，有各自的適用場景，其中Hadoop 通過將數據切片分別計算來處理大量的離線數據，常用于海量數據的離線分析處理；
Spark 是一個基于內存計算的開源集群計算系統(tǒng)，運算速度超過 Hadoop100 倍，但不能用于處理需長期保存數據，常用于對離線數據的快速分析；
Storm 側重流式計算，不進行數據收集和存儲，通過網絡實時接收和處理數據，實時傳回結果，可實現對大數據流的實時處理，常用于在線實時的大數據處理。
下載鏈接：
1-曾慶存-中國科學院地球系統(tǒng)（動力學）模式CAS-ESM.pdf
2-鄔江興_打造AI時代集成電路標志性的芯物種20200928.pdf
3-新形勢下高性能計算發(fā)展面臨的挑戰(zhàn)和任務-錢德沛.pdf
4-高性能計算機的存儲優(yōu)化：實踐與經驗-盧凱.pdf
5-陳健-中國超算應用行業(yè)分析和技術服務模式.pdf
6-付昊桓-太湖之光-應用軟件研發(fā).pdf"?
1、基于LNet的多網絡互聯(lián)實踐.pdf
2、面向非易失性存儲器的Lustre客戶端持久性緩存.pdf
3、面向云計算的高性能重復數據刪除技術.pdf
4、神威太湖之光上的動態(tài)IO轉發(fā)資源調度方法.pdf
5、曙光高性能計算并行存儲系統(tǒng)技術及應用探究.pdf
6、新挑戰(zhàn)下Lustre文件系統(tǒng)的功能演進和結構嬗變.pdf
本號資料全部上傳至知識星球，更多內容請登錄智能計算芯知識（知識星球）星球下載全部資料。
免責申明：本號聚焦相關技術分享，內容觀點不代表本號立場，可追溯內容均注明來源，發(fā)布文章若存在版權等問題，請留言聯(lián)系刪除，謝謝。
電子書<服務器基礎知識全解(終極版)>更新完畢，知識點深度講解，提供182頁完整版下載。
獲取方式：點擊“閱讀原文”即可查看PPT可編輯版本和PDF閱讀版本詳情。
溫馨提示：
請搜索“AI_Architect”或“掃碼”關注公眾號實時掌握深度技術分享，點擊“閱讀原文”獲取更多原創(chuàng)技術干貨。
