Hadoop: Kết quả FSCK cho thấy các bản sao bị thiếu

Question

ai có thể cho tôi biết cách sửa các bản sao bị thiếu?

============================================== ==============================

Tổng kích thước: 3447348383 B

Tổng dirs: 120

Tổng số tập tin: 98

Tổng khối (xác nhận): (. kích thước khối trung bình 25.919.912 B) 133

nhập tối thiểu nhân rộng khối: 133 (100,0%)

khối Over-nhân rộng: 0 (0.0%)

Under-nhân rộng khối: 21 (15,789474%)

khối Mis-nhân rộng: 0 (0.0%)

Mặc định yếu tố nhân bản: 3

sao chép khối trung bình: 2,3834586

khối tham nhũng: 0

bản sao Thiếu: 147 (46,37224%)

Số dữ liệu nút: 3

Số kệ: 1

================= ================================================== =========

theo hướng dẫn không thời hạn,

hỏng hoặc mất tích khối là nguyên nhân lớn nhất đối với sự quan tâm, vì nó có nghĩa là dữ liệu đã được mất. Theo mặc định, fsck để lại các tệp có các khối bị hỏng hoặc bị thiếu, nhưng bạn có thể yêu cầu nó làm thực hiện một trong các hành động sau đây:

• Di chuyển các tệp bị ảnh hưởng vào thư mục/bị mất + trong HDFS, bằng cách sử dụng - tùy chọn di chuyển. Các tệp tin được chia thành các chuỗi các khối kề nhau để hỗ trợ bất kỳ nỗ lực cứu vãn nào mà bạn có thể thử.

• Xóa các tệp bị ảnh hưởng, sử dụng tùy chọn -delete. Không thể khôi phục tệp sau khi xóa .

Đây là câu hỏi của tôi về cách tìm ra các tệp bị ảnh hưởng? Tôi đã làm việc với Hive để có được các kết quả đầu ra cần thiết mà không có bất kỳ vấn đề nào. nó sẽ ảnh hưởng đến hiệu suất/tốc độ xử lý truy vấn.

Kính trọng,

Raj

Answer 1

bản sao Thiếu nên tự chữa bệnh theo thời gian.Tuy nhiên, nếu bạn đang muốn di chuyển chúng đến mất + tìm thấy, bạn có thể sử dụng:

hadoop fsck/-move 

Hoặc xóa chúng với:

hadoop fsck/-delete 

Nếu bạn chỉ muốn xác định các tập tin với dưới nhân rộng các khối, sử dụng:

hadoop fsck/-files -blocks -locations 

Điều đó sẽ cung cấp cho bạn rất nhiều chi tiết, bao gồm danh sách số bản sao khối dự kiến ​​/ thực tế.