2010-03-24 5 views
5

Để phát triển ứng dụng hadoop, các khung công tác PHP ít phổ biến hơn? Khác, xin vui lòng làm điểm văn học/tài liệu hướng dẫn/hướng dẫn cho một khuôn khổ cụ thể? (các công cụ cho Symfony sẽ tuyệt vời!)Phát triển ứng dụng Hadoop và PHP

Trả lời

6

Về cơ bản Hadoop cho phép bạn chạy bạn gửi các lớp java của riêng bạn vào cụm để chạy trên các máy chủ phù hợp vào thời điểm thích hợp. Tất cả các API ngôn ngữ không JVM cho Hadoop về cơ bản đều liên quan đến việc chạy các lớp java đã tồn tại trước đó, vì vậy không có gì lạ mắt là có thể.

Ngoài ra, hadoop không thực sự là khung tương tác. Nó được hướng nhiều hơn để xử lý hàng loạt lượng dữ liệu khổng lồ trong thời gian hợp lý. Quy tắc của một ngón tay cái là nếu bạn quy trình phụ công việc ít hơn 15MB trong một bước, bạn không nên bận tâm với hadoop. Các chi phí của việc thiết lập công việc và xáo trộn dữ liệu và kết quả xung quanh chỉ là sẽ giết bạn.

Không có gì ngăn cản bạn tạo API hadoop của riêng bạn cho PHP tương tự như cách nó được thực hiện cho Python. Tuy nhiên, PHP không thực sự phổ biến với đám đông xử lý dữ liệu quy mô lớn.

+0

Cảm ơn, Vlad! Tuy nhiên, lý do tại sao PHP không có lợi cho cộng đồng hadoop là không rõ ràng với tôi. Ví dụ, có một ứng dụng Ruby, mã nguồn mở, trendingtopics.org minh họa việc sử dụng hadoop trong một ứng dụng Không có bất kỳ điều gì tương đương được thực hiện bởi bất kỳ ai, thislong! Sẽ thật tuyệt nếu biết có nhiều lý do chính đáng hơn sau cùng. – Arvind

+2

cũng những gì trendingtopics.org thực sự không sử dụng Ruby cho các mục đích hadoop. Ruby được sử dụng như một front-end cho cơ sở dữ liệu. Cơ sở dữ liệu được điền bởi một công việc hadoop. Công việc hadoop được viết kết hợp giữa hive và python. Đây là mã http://github.com/datawrangling/trendingtopics/tree/master/lib/scripts/. Nó chính xác là ứng dụng mà tôi đã có trong tâm trí khi tôi đề cập đến ràng buộc python. – Vlad