apache-pig

7Nhiệt

2Trả lời

Tôi mới sử dụng Hadoop/PIG. Tôi có một câu hỏi cơ bản. Chúng tôi có cơ sở Ghi nhật ký trong PIG UDF không? Tôi đã viết một UDF mà tôi cần phải xác minh Tôi cần phải ghi lại các câu lệnh nhất định để k

5Nhiệt

1Trả lời

Xử lý Json thông qua Pig Scripts

Tôi hiện đã bắt đầu làm việc với các tệp JSON và xử lý dữ liệu bằng các tập lệnh PIG. Tôi đang sử dụng Pig phiên bản 0.9.3.I đã đi qua PiggyBank mà tôi nghĩ sẽ hữu ích để tải và xử lý tệp json trong c

14Nhiệt

2Trả lời

Làm thế nào để buộc STORE (ghi đè) lên HDFS trong Pig?

Khi xây dựng các kịch bản Pig mà sử dụng CỬA HÀNG lệnh tôi phải xóa thư mục đầu ra cho mỗi chạy hoặc kịch bản dừng lại và cung cấp: 2012-06-19 19:22:49,680 [main] ERROR org.apache.pig.tools.grunt.Grun

5Nhiệt

3Trả lời

Tách một tuple thành nhiều bộ dữ liệu trong Pig

Tôi muốn tạo nhiều bộ dữ liệu từ một bộ dữ liệu. Ý tôi là: Tôi có tệp với dữ liệu sau trong đó. >> cat data ID | ColumnName1:Value1 | ColumnName2:Value2 vì vậy tôi tải nó bằng lệnh sau grunt >> A =

5Nhiệt

3Trả lời

PIG: Nhận tất cả các bộ ra khỏi một chiếc túi nhóm

Tôi đang sử dụng PIG để tạo ra các nhóm từ các bộ như sau: a1, b1 a1, b2 a1, b3 ... -> a1, [b1, b2, b3] ... này rất dễ dàng và làm việc. Nhưng vấn đề của tôi là để có được những điều sau: Từ

6Nhiệt

1Trả lời

Pig: áp dụng một nhà điều hành foreach để mỗi phần tử trong một túi

Ví dụ: Tôi có một mối quan hệ "lớp học", với một túi lồng nhau của học sinh: class: {teacher_name: chararray,students: {(firstname: chararray, lastname: chararray)} Tôi muốn thực hiện một thao tác t

7Nhiệt

2Trả lời

Apache Pig: Tải một tệp hiển thị tốt bằng cách sử dụng hadoop fs -text

Tôi có các tệp có tên part-r-000 [0-9] [0-9] và chứa các trường được phân tách bằng tab. Tôi có thể xem chúng bằng cách sử dụng hadoop fs -text part-r-00000 nhưng không thể tải chúng bằng cách sử dụng

5Nhiệt

2Trả lời

Tải các lớp động từ jar

Tôi biết rằng chúng tôi có thể tải các lớp động bằng cách sử dụng trình nạp lớp tùy chỉnh. Nhưng ở đây vấn đề của tôi là lớp của tôi chính là phụ thuộc vào các lớp khác Nhiệm vụ của tôi là để có được

8Nhiệt

2Trả lời

Sự khác biệt giữa chế độ cục bộ và bản đồ PIG

Sự khác biệt thực sự giữa việc chạy các script PIG cục bộ và trên mapreduce là gì? Tôi hiểu chế độ Mapreduce là khi bạn chạy nó trên một cụm có cài đặt hdfs. Điều này có nghĩa là chế độ cục bộ không c

13Nhiệt

2Trả lời

Xác định dữ liệu tuple trong tập lệnh lợn

Tôi hiện đang gỡ lỗi tập lệnh lợn. Tôi muốn xác định một tuple trong tập tin Pig trực tiếp (thay vì chức năng "Load" cơ bản). Có cách nào để làm điều đó không? Tôi đang tìm kiếm một cái gì đó như thế: