emr

18Nhiệt

3Trả lời

tôi đã tạo ra một Bảng Hive thông qua một phiên tương tác đàn hồi MapReduce và dân cư nó từ một tập tin CSV như thế này: CREATE TABLE csvimport(id BIGINT, time STRING, log STRING) ROW FORMAT DELIMITE

12Nhiệt

3Trả lời

Bất kỳ SDK Scala hoặc giao diện nào cho AWS?

Có ai biết SDK Scala dành cho Dịch vụ web của Amazon không? Tôi đặc biệt quan tâm đến các công việc EMR.

6Nhiệt

2Trả lời

Sử dụng s3distcp với Amazon EMR để sao chép một tệp đơn

Tôi muốn sao chép chỉ một tệp vào HDFS bằng s3distcp. Tôi đã thử bằng cách sử dụng đối số srcPattern nhưng nó không giúp đỡ và nó tiếp tục ném ngoại lệ java.lang.Runtime. Có thể là regex tôi đang sử d

13Nhiệt

2Trả lời

Nén tệp trên S3

Tôi có tệp 17,7 GB trên S3. Nó được tạo ra như là đầu ra của một truy vấn Hive và nó không được nén. Tôi biết rằng bằng cách nén, nó sẽ có khoảng 2,2 GB (gzip). Làm thế nào tôi có thể tải tập tin này

23Nhiệt

3Trả lời

Làm cách nào để sao chép các tệp từ S3 sang Amazon EMR HDFS?

Tôi đang chạy hive trên EMR, và cần phải sao chép một số tệp vào tất cả các trường hợp EMR. Một cách mà tôi hiểu là chỉ sao chép các tập tin vào hệ thống tập tin cục bộ trên mỗi nút, còn cách khác là