hadoop

5Nhiệt

3Trả lời

Một số có thể giải thích cho tôi kiến trúc của nút Edge trong hadoop. Tôi chỉ có thể tìm thấy định nghĩa trên internet. Tôi có một số thắc mắc 1) Liệu các nút cạnh một phần của cụm (gì lợi thế nào c

11Nhiệt

7Trả lời

Hadoop - nút tên không bắt đầu lên

Tôi đang cố gắng chạy hadoop với tư cách người dùng root, tôi đã thực thi lệnh định dạng nút tên hadoop namenode -format khi hệ thống tệp Hadoop đang chạy. Sau này, khi tôi cố gắng để khởi động server

12Nhiệt

3Trả lời

cách lấy tên tệp đầu vào làm cột trong truy vấn hive

Tôi có một bảng bên ngoài hive ánh xạ tới một số thư mục. Thư mục này bao gồm một số tệp. Tôi muốn chạy truy vấn như tên tập tin tìm nơi có một người dùng "abc" select file_name , usr from usrs_tables

45Nhiệt

3Trả lời

Làm thế nào để cung cấp phản hồi truy vấn nhanh hơn so với hive

Gần đây tôi đã bắt đầu tìm kiếm truy vấn tập dữ liệu CSV lớn nằm trên HDFS bằng cách sử dụng Hive và Impala. Như tôi đã mong đợi, tôi nhận được thời gian phản ứng tốt hơn với Impala so với Hive cho cá

9Nhiệt

2Trả lời

HDFS từ Java - Xác định tài

Tôi đang hạnh phúc kết nối với HDFS và niêm yết thư mục chính của tôi: Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://hadoop:8020"); conf.set("fs.hdfs.impl", "org.apache.

6Nhiệt

2Trả lời

phân tích cú pháp đầu vào json trong hadoop java

Dữ liệu đầu vào của tôi ở định dạng hdfs. Tôi chỉ đơn giản là cố gắng để làm wordcount nhưng có sự khác biệt nhỏ. Dữ liệu ở định dạng json. Vì vậy, mỗi dòng dữ liệu là: {"author":"foo", "text": "hello

5Nhiệt

1Trả lời

DistCp từ Local Hadoop đến Amazon S3

Tôi đang cố gắng sử dụng distcp để sao chép một thư mục từ cụm hadoop cục bộ (cdh4) vào thùng Amazon S3 của tôi. tôi sử dụng lệnh sau: hadoop distcp -log /tmp/distcplog-s3/ hdfs://nameserv1/tmp/data/s

13Nhiệt

3Trả lời

Biến môi trường máy chủ Rstudio không tải?

Tôi đang cố gắng chạy rhadoop trên bản phân phối của Cloudera (Tôi không thể nhớ nếu CDH3 hoặc 4) của nó, và đang chạy vào một vấn đề: Rstudio server dường như không nhận ra các biến toàn cầu của tôi.

13Nhiệt

1Trả lời

Loại không phù hợp về giá trị từ bản đồ: dự kiến org.apache.hadoop.io.NullWritable, nhận được org.apache.hadoop.io.Text

Tôi cố gắng để tinh chỉnh một vấn đề đang tồn tại cho phù hợp với nhu cầu của tôi .. Về cơ bản đầu vào là văn bản đơn giản tôi xử lý nó và vượt qua cặp khóa/giá trị để giảm và tôi tạo ra một json .. d

5Nhiệt

2Trả lời

Trong Hadoop, bạn có thể chỉ định dấu phân cách cho TextOutputFormat

Tôi thấy một cơ chế ghi đè dấu phân tách giữa khóa và giá trị bằng cách sử dụng mapreduce.textoutputformat.separator (sử dụng 1.03 của api). Nhưng tôi muốn có thể kiểm soát dấu phân cách giữa các bản