HDFS từ Java - Xác định tài

Question

Tôi đang hạnh phúc kết nối với HDFS và niêm yết thư mục chính của tôi:

Configuration conf = new Configuration(); 
conf.set("fs.defaultFS", "hdfs://hadoop:8020"); 
conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem"); 
FileSystem fs = FileSystem.get(conf); 
RemoteIterator<LocatedFileStatus> ri = fs.listFiles(fs.getHomeDirectory(), false); 
while (ri.hasNext()) { 
    LocatedFileStatus lfs = ri.next(); 
    log.debug(lfs.getPath().toString()); 
} 
fs.close(); 

Những gì tôi đang muốn làm bây giờ mặc dù được kết nối như một người dùng cụ thể (không phải là người sử dụng whois). Có ai biết cách bạn chỉ định người dùng nào bạn kết nối không?

Answer 1

Ngay sau khi tôi thấy điều này được thực hiện thông qua các lớp UserGroupInformation và PrivilegedAction hoặc PrivilegedExceptionAction. Đây là mẫu mã để kết nối với từ xa HDFS 'như' người dùng khác nhau ('HBase' trong trường hợp này). Hy vọng điều này sẽ giải quyết nhiệm vụ của bạn. Trong trường hợp bạn cần chương trình đầy đủ với xác thực bạn cần phải cải thiện xử lý người dùng. Nhưng đối với chương trình xác thực SIMPLE (thực sự không có xác thực) nó hoạt động tốt.

package org.myorg; 

import java.security.PrivilegedExceptionAction; 

import org.apache.hadoop.conf.*; 
import org.apache.hadoop.security.UserGroupInformation; 
import org.apache.hadoop.fs.Path; 
import org.apache.hadoop.fs.FileSystem; 
import org.apache.hadoop.fs.FileStatus; 

public class HdfsTest { 

    public static void main(String args[]) { 

     try { 
      UserGroupInformation ugi 
       = UserGroupInformation.createRemoteUser("hbase"); 

      ugi.doAs(new PrivilegedExceptionAction<Void>() { 

       public Void run() throws Exception { 

        Configuration conf = new Configuration(); 
        conf.set("fs.defaultFS", "hdfs://1.2.3.4:8020/user/hbase"); 
        conf.set("hadoop.job.ugi", "hbase"); 

        FileSystem fs = FileSystem.get(conf); 

        fs.createNewFile(new Path("/user/hbase/test")); 

        FileStatus[] status = fs.listStatus(new Path("/user/hbase")); 
        for(int i=0;i<status.length;i++){ 
         System.out.println(status[i].getPath()); 
        } 
        return null; 
       } 
      }); 
     } catch (Exception e) { 
      e.printStackTrace(); 
     } 
    } 
} 

Answer 2

Nếu tôi nhận được chính xác, tất cả những gì bạn muốn là nhận thư mục chính của người dùng nếu chỉ định và không phải là người dùng whois.

Trong tệp cấu hình, hãy đặt thuộc tính homedir của bạn cho người dùng/$ {user.name}. Đảm bảo bạn có thuộc tính hệ thống có tên là user.name

Điều này đã hiệu quả trong trường hợp của tôi.

Tôi hy vọng đây là những gì bạn muốn làm, Nếu không thêm nhận xét.