hadoop-streaming

9Nhiệt

6Trả lời

Có thư viện học tập máy phân tán nào để sử dụng Python với Hadoop không?

Tôi đã thiết lập bản thân mình với Amazon Elastic MapReduce để tạo ra các nhiệm vụ học tập máy tiêu chuẩn khác nhau. Tôi đã sử dụng Python rộng rãi cho việc học máy địa phương trong quá khứ và tôi khô

10Nhiệt

3Trả lời

Cách nhập mô-đun tùy chỉnh trong công việc MapReduce?

Tôi có một công việc MapReduce quy định tại main.py, mà nhập khẩu các mô-đun lib từ lib.py. Tôi sử dụng Hadoop Streaming để nộp công việc này đến cụm Hadoop như sau: hadoop jar /usr/lib/hadoop-mapredu

6Nhiệt

2Trả lời

Cách lấy tên của tệp đầu vào trong MRjob

Tôi đang viết một hàm bản đồ bằng cách sử dụng mrjob. Đầu vào của tôi sẽ đến từ các tệp trong một thư mục trên HDFS. Tên của các tập tin chứa một thông tin mảnh nhỏ nhưng rất quan trọng mà không có tr

6Nhiệt

2Trả lời

Vượt qua các thư mục không phải các tệp để phát trực tuyến?

Trong công việc của tôi, tôi có nhu cầu phân tích cú pháp nhiều nhật ký lịch sử. Khách hàng cá nhân (có hàng nghìn) có thể có hàng trăm thư mục con đăng nhập được chia nhỏ theo ngày. Ví dụ: logs/Custo

5Nhiệt

1Trả lời

Python Streaming: làm thế nào để giảm đến nhiều đầu ra? (Có thể với Java mặc dù)

Tôi đọc Hadoop in Action và thấy rằng trong Java sử dụng MultipleOutputFormat và MultipleOutputs các lớp chúng tôi có thể giảm dữ liệu thành nhiều tệp đạt được điều tương tự bằng cách sử dụng Python s

12Nhiệt

1Trả lời

Phát trực tiếp Hadoop với C# và Mono: IdentityMapper được sử dụng không chính xác

Tôi có bản thực thi bản đồ và giảm tốc được viết bằng C#. Tôi muốn sử dụng chúng với tính năng phát trực tuyến Hadoop. Đây là lệnh tôi đang sử dụng để tạo ra các công việc Hadoop ... hadoop jar $HADOO

7Nhiệt

3Trả lời

Làm cách nào để chuyển một tham số cho công việc phát trực tuyến Hadoop trăn?

Đối với một công việc phát trực tuyến Hadoop python, làm cách nào để chuyển một tham số tới, ví dụ, tập lệnh giảm tốc để nó hoạt động khác nhau dựa trên tham số được truyền vào? Tôi hiểu rằng việc làm

8Nhiệt

1Trả lời

Làm thế nào để đọc tập tin tuần tự hadoop?

Tôi có một tệp tuần tự là đầu ra của công việc giảm bản đồ hadoop. Trong dữ liệu tệp này được viết bằng cặp giá trị khóa và bản thân giá trị là bản đồ. Tôi muốn đọc giá trị như một đối tượng MAP để tô

6Nhiệt

1Trả lời

Tôi có thể buộc bộ giảm tốc của tôi (giai đoạn sao chép) chỉ bắt đầu khi tất cả người lập bản đồ hoàn thành

Tôi có một công việc hadoop với giai đoạn bản đồ khá dài và tôi muốn các công việc ngắn khác được ưu tiên. Đối với điều này, tôi đặt ưu tiên của công việc dài của tôi với công việc hadoop -set-priorit

5Nhiệt

4Trả lời

Chạy một công việc sử dụng hadoop streaming và mrjob: PipeMapRed.waitOutputThreads(): tiến trình con thất bại với mã 1

Hey Tôi là khá mới với thế giới của Big Data. Tôi đã xem qua hướng dẫn này trên http://musicmachinery.com/2011/09/04/how-to-process-a-million-songs-in-20-minutes/ Nó mô tả một cách chi tiết làm thế nà