các dòng phân loại của một tệp tin rất lớn trong java

Question

Tôi đang làm việc với một tệp văn bản rất lớn (755Mb). Tôi cần sắp xếp các dòng (khoảng 1890000) và sau đó viết chúng lại trong một tệp khác.

tôi đã nhận thấy rằng cuộc thảo luận mà có một tập tin khởi đầu thực sự tương tự như tôi: Sorting Lines Based on words in them as keys

Vấn đề là tôi không thể lưu trữ các dòng trong một bộ sưu tập trong bộ nhớ vì tôi nhận được một ngoại lệ Java Heap Space (ngay cả khi tôi mở rộng nó tối đa) .. (đã cố gắng!)

tôi không thể hoặc mở nó bằng excel và sử dụng các tính năng sắp xếp vì các tập tin quá lớn và nó không thể được hoàn toàn được tải ..

tôi suy nghĩ về việc sử dụng một DB .. nhưng tôi nghĩ rằng viết tất cả các dòng sau đó u se truy vấn SELECT nó quá dài về thời gian thực hiện .. tôi có sai không?

Bất kỳ gợi ý đánh giá cao Cảm ơn trước

Answer 1

Tôi nghĩ rằng giải pháp ở đây là để làm việc kết hợp với loại sử dụng tập tin tạm thời:

1. Hãy đọc n dòng đầu tiên của tệp đầu tiên, (n là số dòng bạn có thể lưu trữ và sắp xếp trong bộ nhớ), sắp xếp chúng và ghi chúng vào tệp 1.tmp (hoặc tuy nhiên bạn gọi nó). Làm tương tự với n dòng tiếp theo và lưu trữ nó trong 2.tmp. Lặp lại cho đến khi tất cả các dòng của tập tin gốc đã được xử lý.

2. Đọc dòng đầu tiên của mỗi tệp tạm thời. Xác định phần nhỏ nhất (theo thứ tự sắp xếp của bạn), ghi nó vào tệp đích và đọc dòng tiếp theo từ tệp tạm thời tương ứng. Lặp lại cho đến khi tất cả các dòng đã được xử lý.

3. Xóa tất cả các tệp tạm thời.

Điều này làm việc với các tệp lớn tùy ý, miễn là bạn có đủ dung lượng đĩa.

Answer 2

Tại sao bạn không thử đa luồng và tăng kích thước heap của chương trình bạn đang chạy? (Điều này cũng đòi hỏi bạn phải sử dụng merge sort loại điều miễn là bạn có nhiều bộ nhớ hơn 755mb trong hệ thống của bạn.)

Answer 3

divide and conquer sự là giải pháp tốt nhất :)

chia tập tin của bạn cho những người nhỏ hơn, sắp xếp từng tập tin riêng rẽ sau đó tập hợp lại.

Links:

Sort a file with huge volume of data given memory constraint

http://hackerne.ws/item?id=1603381

Answer 4

Thuật toán:

Bao nhiêu bộ nhớ chúng ta có sẵn? Giả sử chúng tôi có X MB bộ nhớ khả dụng.

1. Chia tệp thành K khối, trong đó X * K = 2 GB. Đưa mỗi đoạn vào bộ nhớ và sắp xếp các dòng như bình thường bằng cách sử dụng bất kỳ thuật toán O(n log n) nào. Lưu các dòng trở lại tập tin.

2. Bây giờ, hãy đưa đoạn tiếp theo vào bộ nhớ và sắp xếp.

3. Sau khi hoàn tất, hãy hợp nhất từng cái một.

Thuật toán trên còn được gọi là sắp xếp bên ngoài. Bước 3 được gọi là Hợp nhất N-cách

Answer 5

Có thể bạn có thể sử dụng perl để định dạng tệp .và tải vào cơ sở dữ liệu như mysql. nó quá nhanh. và sử dụng chỉ mục để truy vấn dữ liệu. và ghi vào một tập tin khác.

u có thể thiết lập kích thước JVM đống như .i '-Xms256m -Xmx1024m' hy vọng sẽ giúp u .thanks

Answer 6

Bạn có thể chạy sau với

-mx1g -XX:+UseCompressedStrings # on Java 6 update 29 
-mx1800m -XX:-UseCompressedStrings # on Java 6 update 29 
-mx2g # on Java 7 update 2. 

---

import java.io.*; 
import java.util.ArrayList; 
import java.util.Collections; 
import java.util.List; 

public class Main { 
    public static void main(String... args) throws IOException { 
     long start = System.nanoTime(); 
     generateFile("lines.txt", 755 * 1024 * 1024, 189000); 

     List<String> lines = loadLines("lines.txt"); 

     System.out.println("Sorting file"); 
     Collections.sort(lines); 
     System.out.println("... Sorted file"); 
     // save lines. 
     long time = System.nanoTime() - start; 
     System.out.printf("Took %.3f second to read, sort and write to a file%n", time/1e9); 
    } 

    private static void generateFile(String fileName, int size, int lines) throws FileNotFoundException { 
     System.out.println("Creating file to load"); 
     int lineSize = size/lines; 
     StringBuilder sb = new StringBuilder(); 
     while (sb.length() < lineSize) sb.append('-'); 
     String padding = sb.toString(); 

     PrintWriter pw = new PrintWriter(fileName); 
     for (int i = 0; i < lines; i++) { 
      String text = (i + padding).substring(0, lineSize); 
      pw.println(text); 
     } 
     pw.close(); 
     System.out.println("... Created file to load"); 
    } 

    private static List<String> loadLines(String fileName) throws IOException { 
     System.out.println("Reading file"); 
     BufferedReader br = new BufferedReader(new FileReader(fileName)); 
     List<String> ret = new ArrayList<String>(); 
     String line; 
     while ((line = br.readLine()) != null) 
      ret.add(line); 
     System.out.println("... Read file."); 
     return ret; 
    } 
} 

in

Creating file to load 
... Created file to load 
Reading file 
... Read file. 
Sorting file 
... Sorted file 
Took 4.886 second to read, sort and write to a file