mapreduce

7Nhiệt

1Trả lời

Tôi đang cố gắng đánh giá bằng cách sử dụng Hooks Post-Commit của Riak để xây dựng một chỉ mục dựa trên MapReduce được phân bổ gia tăng, nhưng đã tự hỏi Riak nào thực sự chạy các móc Post-Commit Hooks

5Nhiệt

4Trả lời

Làm thế nào để loại bỏ bản ghi trùng lặp trong MongoDB bởi MapReduce?

Tôi có một bộ sưu tập rất lớn trên MongoDB và tôi muốn xóa bản ghi trùng lặp khỏi bộ sưu tập đó. Ý nghĩ đầu tiên đến với tâm trí của tôi là thả chỉ mục và xây dựng lại chỉ mục bằng dropDups. Tuy nhiên

6Nhiệt

3Trả lời

Làm thế nào để thay đổi cấu trúc của các kết quả giảm bản đồ của MongoDB?

Khi tôi đang chạy Map-Giảm trên một cơ sở dữ liệu Mongo, tôi thường nhận được kết quả tương tự như sau: { _id: <some-id>, value: { <first-key>: <first-value>, ... } } Có cách nào để bỏ qua phần valu

6Nhiệt

1Trả lời

sai lớp chính: Văn bản được phát không IntWritable

Điều này có vẻ giống như một câu hỏi ngu ngốc, nhưng tôi không thấy vấn đề trong các loại của tôi trong mã MapReduce của tôi cho hadoop Như đã nêu trong câu hỏi vấn đề là nó là mong đợi IntWritable nh

7Nhiệt

3Trả lời

Trong Hadoop, khung công tác sẽ lưu đầu ra của tác vụ Bản đồ trong một ứng dụng Map-Reduce thông thường ở đâu?

Tôi đang cố gắng tìm ra đầu ra của tác vụ Bản đồ được lưu vào đĩa trước khi nó có thể được sử dụng bởi tác vụ Giảm. Lưu ý: - phiên bản sử dụng là Hadoop 0.20.204 với các API mới Ví dụ, khi ghi đè lên

12Nhiệt

2Trả lời

Lớp HadC JobConf không được dùng nữa, cần phải cập nhật ví dụ

Tôi đang viết các chương trình hadoop và tôi thực sự không muốn chơi với các lớp không được chấp nhận. Anywhere trực tuyến tôi không thể tìm thấy chương trình với cập nhật org.apache.hadoop.conf.Confi

9Nhiệt

1Trả lời

Các cách khác nhau để cấu hình bộ nhớ cho quy trình con TaskTracker (Mapper và Giảm tác vụ)

Sự khác nhau giữa thiết lập mapred.job.map.memory.mb và mapred.child.java.opts bằng -Xmx để kiểm soát bộ nhớ tối đa được sử dụng bởi tác vụ Mapper và Reduce là gì? Cái nào được ưu tiên?

5Nhiệt

2Trả lời

Sử dụng Pig/Hive để xử lý dữ liệu thay vì giảm mã trực tiếp bản đồ java?

(Thậm chí cơ bản hơn Difference between Pig and Hive? Why have both?) Tôi có một đường ống xử lý dữ liệu bằng văn bản trong một số Java bản đồ giảm nhiệm vụ trên Hadoop (mã tùy chỉnh của riêng tôi, có

5Nhiệt

3Trả lời

Tôi làm cách nào để tìm hiểu cách sử dụng bộ sưu tập commons Java?

Tiêu đề lạ, tôi biết, hãy để tôi giải thích. Tôi là một nhà phát triển quen thuộc nhất với C# và Javascript. Tôi hoàn toàn chìm vào những thế giới bán chức năng đó đến mức hầu hết mã của tôi là về các

22Nhiệt

4Trả lời

Các lựa chọn thay thế MapReduce

Có bất kỳ mô hình thay thế nào cho MapReduce (Google, Hadoop) không? Có cách nào hợp lý khác cách tách & hợp nhất các vấn đề lớn không?