Gson.toJson ném NullPointerException khi kích thước tệp> 1GB

Question

Tôi đã cố gắng viết thành định dạng Json trong Java, nhưng gặp NullPointerException khi kích thước tệp là> 1GB. Bất cứ ai có thể giúp tôi để khắc phục vấn đề này?

Mã sẽ tiếp tục tạo tệp Json và kích thước tệp tiếp tục tăng. Khi kích thước tệp> 1GB, mã sẽ ném ngoại lệ như được hiển thị bên dưới. Tôi đã sử dụng tập dữ liệu khác nhau để thử nghiệm, vì vậy tôi không nghĩ đó là vấn đề về dữ liệu. Tôi đoán là có một giới hạn kích thước cho Gson.toJson trong Java.

Mã của tôi là:

private HashMap<String,HashSet<Token>> tokenCounter = new HashMap<String,HashSet<Token>>(); 

.... 

private void writeToFile(){ 
    try { 
    PrintWriter out = new PrintWriter(outputFileName); 
    out.println(gson.toJson(tokenCounter)); 
    out.close(); 
    } catch (IOException e) { 
     e.printStackTrace(); 
    } 
} 

Trường hợp ngoại lệ nó ném là:

java.lang.NullPointerException 
    at java.lang.String.<init>(String.java:301) 
    at java.lang.StringBuffer.toString(StringBuffer.java:790) 
    at java.io.StringWriter.toString(StringWriter.java:204) 
    at com.google.gson.Gson.toJson(Gson.java:481) 
    at com.google.gson.Gson.toJson(Gson.java:460) 
    at com.ebay.classification.discovery.DailyDiscovery.writeToFile(DailyDiscovery.java:181) 
    at com.ebay.classification.discovery.DailyDiscovery.run(DailyDiscovery.java:169) 
    at com.ebay.classification.discovery.TestDailyDiscoveryContinue.run(TestDailyDiscoveryContinue.java:142) 
    at com.ebay.classification.discovery.TestDailyDiscoveryContinue.main(TestDailyDiscoveryContinue.java:245) 

Answer 1

văn như một câu trả lời để có được xung quanh định dạng các vấn đề trong ý kiến.

Một mảng 2^30 char sẽ là 2^31 byte. Là một chuỗi duy nhất, điều này là rất lớn! Câu hỏi đặt ra cần được hỏi là tại sao bạn có mã:

PrintWriter out = new PrintWriter(outputFileName); 
out.println(gson.toJson(tokenCounter)); 
out.close(); 

này có thể dễ dàng được viết như sau:

FileWriter out = new FileWriter(outputFileName); 
gson.toJson(tokenCounter, out); 
out.flush(); 
out.close(); 

này sẽ không có tác động bộ nhớ đáng kể, và sẽ nhanh hơn nhiều.

này không trả lời câu hỏi tại sao bạn nhận được NPE trong một StringWriter lớn, nhưng, thẳng thắn, những gì bạn đang làm là vô lý ....