Làm thế nào để đọc tập tin tuần tự hadoop?

Question

Tôi có một tệp tuần tự là đầu ra của công việc giảm bản đồ hadoop. Trong dữ liệu tệp này được viết bằng cặp giá trị khóa và bản thân giá trị là bản đồ. Tôi muốn đọc giá trị như một đối tượng MAP để tôi có thể xử lý thêm.

Configuration config = new Configuration(); 
    Path path = new Path("D:\\OSP\\sample_data\\data\\part-00000"); 
    SequenceFile.Reader reader = new SequenceFile.Reader(FileSystem.get(config), path, config); 
    WritableComparable key = (WritableComparable) reader.getKeyClass().newInstance(); 
    Writable value = (Writable) reader.getValueClass().newInstance(); 
    long position = reader.getPosition(); 

    while(reader.next(key,value)) 
    { 
      System.out.println("Key is: "+textKey +" value is: "+val+"\n"); 
    } 

đầu ra của chương trình: Key: [này là chìa khóa] Giá trị là: {abc = 839.177, xyz = 548.498, lmn = 2, pqr = 1}

Ở đây tôi đang nhận được giá trị như chuỗi , nhưng tôi muốn nó như một đối tượng của bản đồ.

Answer 1

Kiểm tra các tài liệu API cho SequenceFile#next(Writable, Writable)

while(reader.next(key,value)) 
{ 
     System.out.println("Key is: "+textKey +" value is: "+val+"\n"); 
} 

nên được thay thế bằng

while(reader.next(key,value)) 
{ 
     System.out.println("Key is: "+key +" value is: "+value+"\n"); 
} 

Sử dụng SequenceFile.Reader#getValueClassName để có được những kiểu giá trị trong SequenceFile. SequenceFile có các loại khóa/giá trị trong tiêu đề tệp.