elastic-map-reduce

9Nhiệt

6Trả lời

Có thư viện học tập máy phân tán nào để sử dụng Python với Hadoop không?

Tôi đã thiết lập bản thân mình với Amazon Elastic MapReduce để tạo ra các nhiệm vụ học tập máy tiêu chuẩn khác nhau. Tôi đã sử dụng Python rộng rãi cho việc học máy địa phương trong quá khứ và tôi khô

6Nhiệt

2Trả lời

Sử dụng s3distcp với Amazon EMR để sao chép một tệp đơn

Tôi muốn sao chép chỉ một tệp vào HDFS bằng s3distcp. Tôi đã thử bằng cách sử dụng đối số srcPattern nhưng nó không giúp đỡ và nó tiếp tục ném ngoại lệ java.lang.Runtime. Có thể là regex tôi đang sử d

6Nhiệt

1Trả lời

Bản đồ đàn hồi Giảm: sự khác biệt giữa CANCEL_AND_WAIT và CONTINUE?

Tôi chỉ thấy rằng việc sử dụng của Amazon Elastic MapReduce, tôi có thể chỉ định một bước để có một trong ba lựa chọn ActionOnFailure: TERMINATE_JOB_FLOW CANCEL_AND_WAIT CONTINUE TERMINATE_JOB_FLOW là

8Nhiệt

1Trả lời

Thiết lập thông số hadoop với boto?

Tôi đang cố gắng cho phép bỏ qua đầu vào xấu trên các công việc của Amazon Elastic MapReduce. Tôi sau đây công thức tuyệt vời mô tả ở đây: http://devblog.factual.com/practical-hadoop-streaming-dealing

6Nhiệt

1Trả lời

Hiểu thuật toán Mapreduce để tính toán chồng chéo

Tôi muốn được trợ giúp để hiểu thuật toán. Tôi đã dán giải thích thuật toán đầu tiên và sau đó nghi ngờ của tôi. Thuật toán :(Để tính toán sự chồng chéo giữa các cặp lục) Với một người sử dụng tham số

10Nhiệt

2Trả lời

Định cấu hình nguồn dữ liệu ngoài cho Elastic MapReduce

Chúng tôi muốn sử dụng Amazon Elastic MapReduce trên đầu trang DB hiện tại của chúng tôi (chúng tôi đang sử dụng Cassandra trên EC2). Nhìn vào Câu hỏi thường gặp về EMR của Amazon, có thể: Amazon EMR

11Nhiệt

3Trả lời

Làm cách nào để đợi hoàn thành luồng công việc Elastic MapReduce trong ứng dụng Java?

Gần đây tôi đã làm việc với Amazon Web Services (AWS) và tôi nhận thấy không có nhiều tài liệu về chủ đề này, vì vậy tôi đã thêm giải pháp của mình. Tôi đã viết một ứng dụng bằng cách sử dụng Amazon E

5Nhiệt

1Trả lời

Hive - tách dữ liệu trên các tệp

Có cách nào để hướng dẫn Hive chia dữ liệu thành nhiều tệp đầu ra không? Hoặc có thể giới hạn kích thước của các tập tin đầu ra. tôi đang lập kế hoạch để sử dụng chuyển đỏ, trong đó khuyến cáo dữ liệu

5Nhiệt

3Trả lời

sao chép tệp từ amazon s3 sang hdfs bằng cách sử dụng s3distcp không thành công

Tôi đang cố gắng sao chép tệp từ s3 sang hdfs bằng luồng công việc trong EMR và khi tôi chạy lệnh dưới đây, luồng công việc bắt đầu thành công nhưng cho tôi lỗi khi cố gắng sao chép tệp tới HDFS. Tôi

6Nhiệt

3Trả lời

Bản đồ đàn hồi Amazon Giảm phân tích nhật ký s3

Tôi đang sử dụng EMR để phân tích nhật ký web của nginx. Nhưng tôi cần xử lý nhật ký để nó có thể rơi vào các hàng và cột để dễ dàng truy vấn. Vì vậy tôi đã làm hai bảng - rawlog, processedlog theo cá