AFAIK, ssh không cần mật khẩu là cần thiết để nút chính có thể bắt đầu quy trình daemon trên mỗi nút phụ. Ngoài ra, có sử dụng ssh không mật khẩu cho hoạt động của Hadoop không?Tại sao chúng ta cần ssh không mật khẩu Hadoop?
Các mã và mã dữ liệu người dùng được truyền tải như thế nào trên các nút phụ? Tôi muốn biết cơ chế và giao thức được sử dụng.
SSH không cần mật khẩu chỉ nên được định cấu hình cho các cặp chính-nô lệ hoặc ngay cả đối với các nô lệ?
Bạn là chính xác. Nếu ssh không phải là mật khẩu, bạn phải đi trên từng máy riêng lẻ và bắt đầu tất cả các quy trình ở đó, theo cách thủ công. Đối với câu hỏi thứ hai của bạn, tất cả các thông tin liên lạc trong HDFS xảy ra qua TCP/IP và cho chuyển động dữ liệu HTTP được sử dụng. Cơ chế hoạt động như sau:
Khách hàng thiết lập kết nối với cổng TCP có thể định cấu hình trên Máy NameNode. Nó nói ClientProtocol với NameNode. DataNodes nói chuyện với NameNode bằng cách sử dụng giao thức DataNode. Từ xa Sự trừu tượng hóa cuộc gọi thủ tục (RPC) kết thúc tốt đẹp cả Giao thức ứng dụng khách và Giao thức DataNode.
Và đối với câu hỏi thứ ba, không nhất thiết phải có ssh không mật khẩu giữa các nút phụ.
trả lời cho câu hỏi đầu tiên:
Các Hadoop lõi sử dụng Shell (SSH) để khởi động các quá trình máy chủ trên các nút nô lệ. Nó yêu cầu kết nối SSH ít mật khẩu giữa master và tất cả các slave và các máy thứ cấp.
Chúng tôi cần SSH không mật khẩu trong môi trường phân phối hoàn toàn vì khi cụm là SỐNG và chạy trong Hoàn toàn Môi trường phân tán, liên lạc quá thường xuyên. Công việc theo dõi sẽ có thể gửi một nhiệm vụ để theo dõi nhiệm vụ một cách nhanh chóng.