Bản đồ giảm công việc bị kẹt ở bản đồ 0% giảm 0%

Question

Tôi đang chạy ví dụ về số từ nổi tiếng. Tôi có một thiết lập hadoop địa phương và prod. Ví dụ tương tự là làm việc trong sản, nhưng nó không hoạt động cục bộ. Ai đó có thể cho tôi biết tôi nên tìm gì. Công việc đang bị kẹt. Nhật ký công việc là:

~/tmp$ hadoop jar wordcount.jar WordCount /testhistory /outputtest/test 
Warning: $HADOOP_HOME is deprecated. 

13/08/29 16:12:34 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same. 
13/08/29 16:12:35 INFO input.FileInputFormat: Total input paths to process : 3 
13/08/29 16:12:35 INFO util.NativeCodeLoader: Loaded the native-hadoop library 
13/08/29 16:12:35 WARN snappy.LoadSnappy: Snappy native library not loaded 
13/08/29 16:12:35 INFO mapred.JobClient: Running job: job_201308291153_0015 
13/08/29 16:12:36 INFO mapred.JobClient: map 0% reduce 0% 

Địa phương ở chế độ phân phối giả. Tất cả 3 quy trình, nút tên, mã dữ liệu, công việc đang chạy. Hãy cho tôi biết nếu cần thêm một số thông tin.

Answer 1

Trình theo dõi tác vụ dường như bị thiếu.

Hãy thử:

hadoop tasktracker & 

Answer 2

Trong Hadoop 2.x vấn đề này có thể liên quan đến các vấn đề bộ nhớ, bạn có thể nhìn thấy nó trong MapReduce in Hadoop 2.2.0 not working

Answer 3

tôi đã cùng một vấn đề và trang này đã giúp tôi: http://www.alexjf.net/blog/distributed-systems/hadoop-yarn-installation-definitive-guide/

Về cơ bản tôi đã giải quyết được sự cố của mình bằng cách sử dụng 3 bước sau. Thực tế là tôi phải cấu hình nhiều bộ nhớ hơn tôi thực sự có.

1) sợi-site.xml

• yarn.resourcemanager.hostname = hostname_of_the_master
• yarn.nodemanager.resource.memory-mb = 4000
• yarn.nodemanager.resource.cpu-vcores = 2
• yarn.scheduler.minimum phân bổ-mb = 4000

2) mapred-site.xml

• yarn.app.mapreduce.am.resource.mb = 4000
• yarn.app.mapreduce.am.command-opts = -Xmx3768m
• mapreduce.map.cpu.vcores = 2
• mapreduce.reduce.cpu.vcores = 2

3) Gửi những tập tin này trên tất cả các nút

Answer 4

Trừ hadoop tasktracker & và bất kỳ vấn đề khác. Vui lòng kiểm tra mã của bạn và đảm bảo rằng không có infinite loop hoặc bất kỳ lỗi nào khác. Có thể có một số lỗi trong mã của bạn!

Answer 5

Nếu sự cố này xảy ra khi sử dụng truy vấn Hive thì hãy kiểm tra xem bạn có đang tham gia hai bảng rất lớn mà không tận dụng phân vùng hay không. Không sử dụng phân vùng có thể dẫn đến việc quét toàn bộ bảng dài và do đó bị kẹt ở bản đồ 0% giảm 0%.