Java API 操作HDFS一般有兩種方式：

1. 使用HDFS客戶端配置文件自動配置

2. Java 代碼中配置

一、使用HDFS客戶端配置

1、下載HDFS客戶端配置

2、創(chuàng)建Maven項目

創(chuàng)建Maven項目，將下載的客戶端配置文件 core-site.xml、hdfs-site.xml 放入resources目錄下（注意：放到 resources根目錄下）

3、HDFS API編寫

HDFSTest.java

package com.song.example;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;

public class HDFSTest {

    public static void main(String[] args) {
        // 設(shè)置操作HDFS的用戶
        System.setProperty("HADOOP_USER_NAME", "song");
        FileSystem fs;
        // 從 resources 目錄下自動加載配置
        Configuration conf = new Configuration();
        try {
            fs = FileSystem.newInstance(conf);
            fs.mkdirs(new Path("/user/song/test"));
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

二、Java 代碼配置

使用Java代碼進行配置，則就不需要下載HDFS客戶端配置文件了

HDFSTest.java

package com.song.example;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;

public class HDFSTest {

    public static void main(String[] args) {
        // 設(shè)置操作HDFS的用戶
        System.setProperty("HADOOP_USER_NAME", "song");
        FileSystem fs;
        // 在Java代碼中配置Configuration
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://nameservice1");
        conf.set("dfs.nameservices", "nameservice1");
        conf.set("dfs.ha.namenodes.nameservice1", "namenode34,namenode41");
        conf.set("dfs.namenode.rpc-address.nameservice1.namenode34", "cdh68.bigdata.com:8020");
        conf.set("dfs.namenode.rpc-address.nameservice1.namenode41", "cdh69.bigdata.com:8020");
        conf.set("dfs.client.failover.proxy.provider.nameservice1", "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");

        try {
            fs = FileSystem.newInstance(conf);
            fs.mkdirs(new Path("/user/song/testTwo"));
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

Java 代碼中的配置從 hdfs-site.xml中查找：

<configuration>
  <property>
    <name>dfs.nameservices</name>
    <value>nameservice1</value>
  </property>
  <property>
    <name>dfs.client.failover.proxy.provider.nameservice1</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>
      <property>
    <name>dfs.ha.namenodes.nameservice1</name>
    <value>namenode34,namenode41</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.nameservice1.namenode34</name>
    <value>cdh68.bigdata.com:8020</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.nameservice1.namenode41</name>
    <value>cdh69.bigdata.com:8020</value>
  </property>

刪除HDFS客戶端配置文件：

執(zhí)行結(jié)果：

三、小結(jié)

建議使用第一種：HDFS客戶端配置文件進行操作HDFS, 因為當(dāng)HDFS配置更改時，只需要替換配置文件即可，更加靈活。