Cài đặt đại biểu sở thú trong hbase-site.xml chính xác là gì?

Question

Cài đặt đại biểu sở thú trong hbase-site.xml chính xác là gì?

Answer 1

Như đã trình bày trong hbase-default.xml, đây là các thiết lập:

Comma tách ra danh sách các máy chủ trong Zookeeper Quorum. Ví dụ: "host1.mydomain.com, host2.mydomain.com, host3.mydomain.com". Theo mặc định, thiết lập này được đặt thành localhost cho các chế độ hoạt động cục bộ và phân tán giả. Đối với một thiết lập phân phối đầy đủ, điều này nên được đặt thành một danh sách đầy đủ các máy chủ đại biểu của ZooKeeper. Nếu HBASE_MANAGES_ZK được đặt trong hbase-env.sh thì đây là danh sách các máy chủ mà chúng ta sẽ khởi động/dừng ZooKeeper.

Điều này thực sự không đã được trả lời bởi Edward J. Yoon here. Với chỉnh sửa trên một phần của tôi, cho rõ ràng:

Apache Zookeeper là một dịch vụ phối hợp cho các ứng dụng phân tán, như Chubby của Google . Nhiều dự án sử dụng zookeeper, và chúng tôi (Apache Hama) cũng sử dụng zookeeper để đồng bộ hóa hàng rào khung công tác tính toán song song Bulk Parallel.

Hôm nay, tôi đã khảo sát thêm về paxo và các tính năng đại số động của dự án Zookeeper, để đặt tên cho lớp là org.apache.hama.zookeeper.QuorumPeer. Bởi vì tài liệu là không đủ (http://hadoop.apache.org/zookeeper/docs/r3.0.0/api/index.html), tôi không hiểu ý nghĩa của "đại biểu", như thuật ngữ này là hơi kỳ lạ với tôi. Nhưng, "org.apache.hama.zookeeper.QuorumPeer" là tên thích hợp !! xD

Vậy, số đại biểu là gì và tại sao chúng ta cần một đại biểu?

Theo Wikipedia, Số đại biểu là số lượng tối thiểu các thành viên của một cơ quan có chủ ý cần thiết để tiến hành kinh doanh của nhóm đó. Thông thường, đây là phần lớn những người được mong đợi ở đó, mặc dù nhiều cơ quan có thể có số đại biểu thấp hơn hoặc cao hơn.

Như bạn đã biết, cơ chế Chống lỗi là một trong những chức năng quan trọng của hệ thống phân tán. Thuật toán Quorum được sử dụng để ngăn chặn tình trạng phân chia não. Khi tình trạng phân chia não xảy ra, theo thuật toán Quorum, người quản lý vườn thú xác định "Phân vùng chính" và "Phân vùng phụ". Sau đó, các máy chủ trong nhóm chính nhận và xử lý yêu cầu của người dùng và các máy chủ trong nhóm thứ cấp trở thành chỉ đọc.

Khi nào hệ thống này phục hồi từ trạng thái phân chia bộ não? Khi chúng được sáp nhập lại thành một phân vùng. Bên trong, zookeeper sử dụng giao thức phát sóng nguyên tử thay vì Paxos.

Bạn cũng nên read the original version, trong trường hợp tôi dịch sai các khái niệm mà anh đang cố gắng trình bày.

Sự hiểu biết của tôi về cơ chế đại biểu trong Apache Zookeeper là nó định nghĩa rõ ràng một nhóm đại biểu sao chép trên một số máy chủ được xác định trước. Nếu số đại biểu này không được đáp ứng, các phân vùng không đồng ý sẽ được tách ra thành phân vùng thứ cấp cho đến khi người quản lý có thể tích hợp lại chúng với phân vùng chính.

Điều này làm tăng thêm chi tiết cho mô hình eventual consistency của Hadoop. HBase, trong khi đó, hiện đang trong quá trình further integrating Zookeeper with its code.

Answer 2

Từ file HBase-default.xml:

Comma tách ra danh sách các máy chủ trong Zookeeper Quorum. Ví dụ: "host1.mydomain.com, host2.mydomain.com, host3.mydomain.com". Theo mặc định, cài đặt này được đặt thành localhost cho các chế độ phân phối cục bộ và giả hoạt động. Đối với thiết lập được phân phối hoàn toàn, cài đặt này phải được đặt thành một danh sách đầy đủ của máy chủ lưu trữ đại diện của ZooKeeper. Nếu HBASE_MANAGES_ZK được đặt trong hbase-env.sh , đây là danh sách các máy chủ mà chúng tôi sẽ khởi động/dừng ZooKeeper.

Và từ Bắt phần Yêu cầu đầu của:

HBase phụ thuộc vào Zookeeper kể từ phiên bản 0.20.0. HBase giữ vị trí của bảng gốc của nó, người chủ hiện tại là ai, và những vùng nào hiện đang tham gia vào cụm trong ZooKeeper. Bây giờ, các máy khách và máy chủ phải biết vị trí của nhóm ZooKeeper Quorum của chúng trước khi chúng có thể làm bất cứ điều gì khác (Thông thường chúng nhận thông tin này từ cấu hình được cung cấp trên CLASSPATH). Theo mặc định, HBase sẽ quản lý một cá thể ZooKeeper duy nhất cho bạn. Trong các chế độ độc lập và phân tán giả, điều này thường là đủ, nhưng đối với chế độ phân phối hoàn toàn, bạn nên cấu hình một nhóm truy cập ZooKeeper (thông tin thêm bên dưới).

Hy vọng rằng sẽ giúp.