hdfs

8Nhiệt

1Trả lời

Chuyển dữ liệu sang hdfs bằng cách sử dụng công tắc copyFromLocal

Tôi không biết điều gì đang xảy ra ở đây nhưng tôi đang cố sao chép một tệp đơn giản từ một thư mục trong hệ thống tệp cục bộ của tôi vào thư mục được chỉ định cho hdfs. Trong tôi HDFS-site.xml tôi đã

12Nhiệt

3Trả lời

Nén splittable tốt nhất cho đầu vào Hadoop = bz2?

Chúng tôi đã nhận ra một chút quá muộn rằng việc lưu trữ các tệp của chúng tôi ở định dạng GZip để xử lý Hadoop không phải là một ý tưởng tuyệt vời. GZip không splittable, và để tham khảo, đây là nhữn

5Nhiệt

1Trả lời

Có thể apache flume hdfs sink chấp nhận đường dẫn động để viết?

Tôi mới đến apache flume. Tôi đang cố gắng để xem làm thế nào tôi có thể nhận được một json (như http nguồn), phân tích nó và lưu nó vào một đường dẫn động trên hdfs theo nội dung. Ví dụ: nếu json là:

5Nhiệt

1Trả lời

s3distcp: không thể tạo ra con đường từ chuỗi rỗng

Trong khi chạy s3distcp từ S3 để HDFS: sudo -u hdfs hadoop jar /usr/lib/hadoop/lib/s3distcp.jar --src s3n://workAAAA-KKKK-logs/production-logs/Log-XXXX-click/Log-XXXXX-click-2013-03-27_06-21-19_i-7XXb

9Nhiệt

2Trả lời

HDFS từ Java - Xác định tài

Tôi đang hạnh phúc kết nối với HDFS và niêm yết thư mục chính của tôi: Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://hadoop:8020"); conf.set("fs.hdfs.impl", "org.apache.

14Nhiệt

2Trả lời

Hadoop trong đổi tên tệp

Có một lệnh đơn giản cho hadoop có thể thay đổi tên của tệp (trong HDFS) từ tên cũ thành tên mới không?

10Nhiệt

1Trả lời

Truy cập HDFS từ máy chủ từ xa thông qua API Java, xác thực người dùng

Tôi cần sử dụng cụm HDFS từ máy tính từ xa thông qua API Java. Tất cả mọi thứ hoạt động OK cho đến khi nói đến quyền truy cập ghi. Nếu tôi đang cố gắng tạo bất kỳ tập tin nào tôi nhận được ngoại lệ ch

8Nhiệt

1Trả lời

BindException trong Hadoop trên EC2

Tôi đang cố thiết lập cụm Hadoop (CDH4) trên phiên bản EC2. Các nút tên giữ crashing, khi tôi cố gắng định dạng nó. Đây là lỗi tôi nhận được. 2013-04-12 05:37:16,995 FATAL org.apache.hadoop.hdfs.serve

18Nhiệt

4Trả lời

Hadoop: Quá trình Datanode bị giết

Tôi hiện đang sử dụng Hadoop-2.0.3-alpha và sau khi tôi có thể làm việc hoàn hảo với HDFS (sao chép tệp vào HDFS, thu được thành công từ khung bên ngoài, sử dụng webfrontend), sau một khởi đầu mới VM

8Nhiệt

1Trả lời

Hadoop: Kết quả FSCK cho thấy các bản sao bị thiếu

ai có thể cho tôi biết cách sửa các bản sao bị thiếu? ============================================== ============================== Tổng kích thước: 3447348383 B Tổng dirs: 120 Tổng số tập tin: 98 Tổn