Tạo liên kết tượng trưng từ nhật ký công việc thành $ {hadoop.tmp.dir} không thành công trong thiết lập cụm đa điểm hadoop

Question

Khi tôi chạy ví dụ wordcount đơn giản trong nhóm có 3 nút, tôi nhận được lỗi sau. Tôi đã kiểm tra tất cả các quyền ghi/đọc của các thư mục cần thiết. Lỗi này không dừng việc tạo bản đồ nhưng tất cả khối lượng công việc đã đi đến một máy trong cụm, hai máy khác cho cùng một lỗi ở trên khi một tác vụ đến chúng.

12/09/13 09:38:37 INFO mapred.JobClient: Task Id : attempt_201209121718_0006_m_000008_0,Status : FAILED 
java.lang.Throwable: Child Error 
    at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:271) 
Caused by: java.io.IOException: Creation of symlink from /hadoop/libexec/../logs/userlogs/job_201209121718_0006/attempt_201209121718_0006_m_000008_0 to /hadoop/hadoop-datastore 
/mapred/local/userlogs/job_201209121718_0006/attempt_201209121718_0006_m_000008_0 failed. 
    at org.apache.hadoop.mapred.TaskLog.createTaskAttemptLogDir(TaskLog.java:110) 
    at org.apache.hadoop.mapred.DefaultTaskController.createLogDir(DefaultTaskController.java:71) 
    at org.apache.hadoop.mapred.TaskRunner.prepareLogFiles(TaskRunner.java:316) 
    at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:228) 

12/09/13 09:38:37 WARN mapred.JobClient: Error reading task outputhttp://peter:50060/tasklog?plaintext=true&attemptid=attempt_201209121718_0006_m_000008_0&filter=stdout 
12/09/13 09:38:37 WARN mapred.JobClient: Error reading task outputhttp://peter:50060/tasklog?plaintext=true&attemptid=attempt_201209121718_0006_m_000008_0&filter=stderr 

Lỗi đó là gì?

Answer 1

java.lang.Throwable: Lỗi Child

org.apache.hadoop.mapred.TaskRunner.run (TaskRunner.java:271)

Có vẻ như bộ nhớ phân bổ cho các trackers nhiệm vụ được nhiều hơn các bộ nhớ thực tế của các nút. Kiểm tra liên kết này Explanation