hadoop

7Nhiệt

3Trả lời

Tính toán sự khác biệt giữa các bản ghi liên tiếp trong Hadoop với Truy vấn Hive

Tôi có bảng Hive chứa dữ liệu của các cuộc gọi của khách hàng. Để đơn giản xem xét nó có 2 cột, cột đầu tiên giữ ID khách hàng và cột thứ hai giữ dấu thời gian của cuộc gọi (dấu thời gian unix). Tôi c

8Nhiệt

1Trả lời

Chuyển dữ liệu sang hdfs bằng cách sử dụng công tắc copyFromLocal

Tôi không biết điều gì đang xảy ra ở đây nhưng tôi đang cố sao chép một tệp đơn giản từ một thư mục trong hệ thống tệp cục bộ của tôi vào thư mục được chỉ định cho hdfs. Trong tôi HDFS-site.xml tôi đã

18Nhiệt

4Trả lời

Việc sử dụng bộ so sánh nhóm trong bản đồ hadoop là gì?

Tôi muốn biết tại sao bộ so sánh nhóm được sử dụng trong loại thứ hai của mapreduce. Theo hướng dẫn dụ dứt khoát của trung học sắp xếp Chúng tôi muốn thứ tự sắp xếp cho các phím để được theo năm (tăng

5Nhiệt

1Trả lời

Hadoop: Định dạng bị hủy bỏ trong/mnt/hdfs/1/namenode

Tôi đã tạo một vài hệ thống tệp ebs trên ec2 để sử dụng với hadoop. Tôi đã thiết lập JAVE_HOME trong môi trường hadoop. Nhưng khi tôi đi đến định dạng tập đầu tiên nó hủy bỏ với thông báo sau [[email

12Nhiệt

3Trả lời

Nén splittable tốt nhất cho đầu vào Hadoop = bz2?

Chúng tôi đã nhận ra một chút quá muộn rằng việc lưu trữ các tệp của chúng tôi ở định dạng GZip để xử lý Hadoop không phải là một ý tưởng tuyệt vời. GZip không splittable, và để tham khảo, đây là nhữn

6Nhiệt

1Trả lời

Phân phối các nút dữ liệu trên nhiều trung tâm dữ liệu

Có ai đã thử kiểm tra hiệu suất của các nút dữ liệu trên nhiều trung tâm dữ liệu không? Đặc biệt là trên các mạng có đường ống nhỏ. Tôi dường như không thể tìm thấy quá nhiều thông tin về nó và thông

8Nhiệt

1Trả lời

Hadoop trên cơ sở dữ liệu cassandra

Tôi đang sử dụng Cassandra để lưu trữ dữ liệu và tổ chức của tôi để xử lý dữ liệu của tôi. Tôi có 5 máy mà tôi đã thiết lập cassandra và 2 máy tôi sử dụng làm nút phân tích (nơi chạy hive) Vì vậy, tôi

5Nhiệt

1Trả lời

Có thể apache flume hdfs sink chấp nhận đường dẫn động để viết?

Tôi mới đến apache flume. Tôi đang cố gắng để xem làm thế nào tôi có thể nhận được một json (như http nguồn), phân tích nó và lưu nó vào một đường dẫn động trên hdfs theo nội dung. Ví dụ: nếu json là:

5Nhiệt

2Trả lời

Cách lấy dự án Spring-Data-Hadoop đang chạy với Cloudera CDH4 và Maven

Vì Spring-Data-Hadoop chưa được phát hành, thật khó để tìm ra một cấu hình ví dụ đang chạy để sử dụng nó với cloudera. Phụ thuộc nào tôi cần chọn để có được một Spring-Data-Hadoop đang chạy cùng với C

6Nhiệt

1Trả lời

HIVE - nhóm theo chức năng ngày

Bất cứ ai có thể cho tôi biết lý do tại sao tôi không được tính cho mỗi nhóm, MONTH, DAY, HOUR, MINUTE trong tập kết quả của tôi không? Kết quả thiết lập: Query: SELECT t.f0, MONTH(TO_DATE(Hex2Dec(t.f