在現(xiàn)代的企業(yè)環(huán)境中，單機容量往往無法存儲大量數(shù)據，需要跨機器存儲。統(tǒng)一管理分布在集群上的文件系統(tǒng)稱為分布式文件系統(tǒng)。

HDFS

HDFS（Hadoop Distributed File System）是 Apache Hadoop 項目的一個子項目. Hadoop 非常適于存儲大型數(shù)據 (比如 TB 和 PB), 其就是使用 HDFS 作為存儲系統(tǒng). HDFS 使用多臺計算機存儲文件, 并且提供統(tǒng)一的訪問接口。

HDFS是根據谷歌的論文：《The Google File System》進行設計的

HDFS的四個基本組件:HDFS Client、NameNode、DataNode和Secondary NameNode。

Client

Client是客戶端。HDFS Client文件切分。文件上傳 HDFS 的時候，Client 將文件切分成 一個一個的Block，然后進行存儲。Client 提供一些命令來管理 和訪問HDFS，比如啟動或者關閉HDFS。

NameNode

NameNode就是 master，它是一個主管、管理者。管理 HDFS 元數(shù)據（文件路徑，文件的大小，文件的名字，文件權限，文件的block切片信息）。

NameNode管理 Block 副本策略：默認 3 個副本，處理客戶端讀寫請求。

DataNode

DataNode就是Slave。NameNode下達命令，DataNode 執(zhí)行實際的操作。

DataNode存儲實際的數(shù)據塊，執(zhí)行數(shù)據塊的讀/寫操作。定時向namenode匯報block信息。

Secondary NameNode

SecondaryNameNode不是NameNode的備份。當NameNode掛掉的時候，它并不能馬上替換NameNode并提供服務。

輔助 NameNode，分擔其工作量。在緊急情況下，可輔助恢復 NameNode。

副本機制

HDFS被設計成能夠在一個大集群中跨機器可靠地存儲超大文件。它將每個文件存儲成一系列的數(shù)據塊，這個數(shù)據塊被稱為block，除了最后一個，所有的數(shù)據塊都是同樣大小的。

為了容錯，文件的所有block都會有副本。每個文件的數(shù)據塊大小和副本系數(shù)都是可配置的。

在hadoop2 當中, 文件的 block 塊大小默認是 「128M」（134217728字節(jié)）。

如上圖所示，一個大小為300M的a.txt上傳到HDFS中，需要進行128M的切分，不足128M分為到另一block中。

HDFS基本命令

HDFS 簡單使用

根據部署的服務，我們的 HDFS 根目錄是 hdfs://192.168.147.128:9820，下面我們嘗試在根目錄下面創(chuàng)建子目錄 user，如下命令所示：

[hadoop@node01 ~]$ hadoop fs -mkdir /user

然后在Hadoop頁面打開HDFS。

此時的user文件夾將會看見。

下面將一個大小為300M的文件上傳到HDFS的user文件夾中

然后在Hadoop頁面看見剛剛上傳的文件。

此時被分開了三個block。

點擊download，即可下載。