hadoop

12Nhiệt

1Trả lời

Job.setOutputKeyClass và job.setOutputReduceClass ở đâu?

tôi nghĩ rằng họ đề cập đến giảm tốc nhưng trong chương trình của tôi, tôi có public static class MyMapper extends Mapper< LongWritable, Text, Text, Text > và public static class MyReducer extends Red

9Nhiệt

6Trả lời

Có thư viện học tập máy phân tán nào để sử dụng Python với Hadoop không?

Tôi đã thiết lập bản thân mình với Amazon Elastic MapReduce để tạo ra các nhiệm vụ học tập máy tiêu chuẩn khác nhau. Tôi đã sử dụng Python rộng rãi cho việc học máy địa phương trong quá khứ và tôi khô

9Nhiệt

3Trả lời

lỗi trong nút tên bắt đầu

Khi tôi cố gắng khởi động hadoop trên nút chính, tôi nhận được đầu ra sau đây và nút tên không bắt đầu. [[email protected] ~]$ start-dfs.sh starting namenode, logging to /usr/local/hadoop/bin/../logs

5Nhiệt

1Trả lời

Hadoop - Hive: Xóa dữ liệu cũ hơn số ngày được chỉ định

Tôi đang làm việc trên một dự án viễn thông, sử dụng Hadoop - hive để phân tích dữ liệu. Trong một ngày, chúng tôi sẽ nhận được hàng triệu hồ sơ. Sau khi được chỉ định không có ngày, chúng tôi cần xóa

7Nhiệt

1Trả lời

Điều gì có nghĩa là thực hiện một khung công tác kiểm soát nâng cao để giúp chuỗi nhiều công việc Map-Reduce?

tôi khá mới để Hadoop và tôi vẫn đang được phân bổ một dự án trên "Thực hiện một khuôn khổ kiểm soát công việc tiên tiến để giúp chuỗi nhiều Map-Giảm công việc tức là điều tra/cải tiến org.apache.hado

5Nhiệt

1Trả lời

Chia dữ liệu bị cắt thành đầu ra và đầu vào mới trong Hadoop

Tôi đã tìm kiếm các ngày để tìm cách sử dụng dữ liệu bị giảm để lập bản đồ tiếp theo trong hadoop. Tôi đã có các đối tượng của lớp A làm dữ liệu đầu vào và các đối tượng của lớp B làm dữ liệu đầu ra.

6Nhiệt

1Trả lời

Hadoop ClassNotFoundException liên quan đến MapClass

Tôi thấy nhiều câu hỏi liên quan đến ClassNotFoundExceptions, "Không có tập tin jar công việc nào" và Hadoop. Hầu hết trong số họ đều hướng đến việc thiếu phương pháp setJarByClass (hoặc sử dụng JobCo

5Nhiệt

2Trả lời

cách tải dữ liệu trong hive tự động

gần đây tôi muốn tải các tệp nhật ký vào bảng hive, tôi muốn có công cụ có thể đọc dữ liệu từ một thư mục nhất định và tự động tải chúng vào tổ ong. Thư mục này có thể bao gồm nhiều thư mục con, ví dụ

5Nhiệt

2Trả lời

Tắt máy chủ Khu vực Hbase

Tôi là Mohanselvakumar và mới tham gia hệ thống Hbase, yêu cầu giúp tôi về những điều sau với một trong các máy chủ cơ sở của tôi. Kịch bản là tôi đã cài đặt 10 cụm nút với 2 nút tên (một tên chính và

5Nhiệt

3Trả lời

sao chép tệp từ amazon s3 sang hdfs bằng cách sử dụng s3distcp không thành công

Tôi đang cố gắng sao chép tệp từ s3 sang hdfs bằng luồng công việc trong EMR và khi tôi chạy lệnh dưới đây, luồng công việc bắt đầu thành công nhưng cho tôi lỗi khi cố gắng sao chép tệp tới HDFS. Tôi