IDEA配置Hadoop遠程調(diào)試環(huán)境

遠程 hadoop版本：Hadoop 3.0.0+cdh6.3.2

一、設(shè)置本地hadoop環(huán)境

1、下載hadoop

下載 hadoop-3.0.0.tar.gz ，并解壓到 D:\BigData\ 并重命名為 hadoop,如下圖所示：

2、配置環(huán)境變量

2.1 HADOOP_HOME

配置 HADOOP_HOME 環(huán)境變量：

2.2 HADOOP_USER_NAME

2.2.1 更改Winows用戶名

設(shè)置windows用戶，只是能在 Big Data Tools中有權(quán)限可視化操作HDFS文件

HDFS 程序操作HDFS時，是根據(jù)配置的HADOOP_USER_NAME環(huán)境變量中配置的用戶操作HDFS的

2.2.2 設(shè)置HADOOP_USER_NAME環(huán)境變量

HADOOP_USER_NAME 本地操作遠程HDFS的用戶，不設(shè)置默認使用Windows的用戶，當(dāng)操作HDFS時會出現(xiàn)沒有訪問權(quán)限。

或者在Java代碼中設(shè)置變量：

System.setProperty("HADOOP_USER_NAME", "song");

優(yōu)先級：Windows系統(tǒng)變量 > Java環(huán)境變量設(shè)置

3、winutils

從https://github.com/steveloughran/winutils下載針對Windows環(huán)境的Hadoop修正程序winutils（Hadoop-3.0.0對應(yīng)路徑https://github.com/steveloughran /winutils /tree /master/hadoop-3.0.0 ）替換本地hadoop的bin目錄；

二、Intelj IDEA配置

1、安裝 Big Data Tools

2、下載 HDFS 客戶端配置

解壓并存放于D:\BigData\hadoop\hadoop-conf;

3、配置 Big Data Tools

3.1 選擇 HDFS

3.2 選擇 HDFS 配置路徑

3.3 驗證