Tập dữ liệu Groovy sql gây ra java.lang.OutOfMemory

Question

Tôi có một bảng với 252759 bộ dữ liệu. Tôi muốn sử dụng DataSet đối tượng để làm cho cuộc sống của tôi dễ dàng hơn, tuy nhiên khi tôi cố gắng tạo một DataSet cho bảng của tôi, sau 3 giây, tôi nhận được java.lang.OutOfMemory.

Tôi không có kinh nghiệm về Tập dữ liệu, có hướng dẫn nào về cách sử dụng đối tượng Số liệu cho các bảng lớn không?

Answer 1

Tại sao không bắt đầu với việc cung cấp bộ nhớ JVM nhiều hơn?

java -Xms<initial heap size> -Xmx<maximum heap size> 

252759 bộ dữ liệu không giống như bất kỳ điều gì làm việc với RAM 4GB + một số bộ nhớ ảo không thể xử lý trong bộ nhớ.

Answer 2

Bạn có thực sự cần truy xuất tất cả các hàng cùng một lúc không? Nếu không, sau đó bạn chỉ có thể lấy chúng theo lô (ví dụ) 10000 bằng cách sử dụng cách tiếp cận hiển thị dưới đây.

def db = [url:'jdbc:hsqldb:mem:testDB', user:'sa', password:'', driver:'org.hsqldb.jdbcDriver'] 

def sql = Sql.newInstance(db.url, db.user, db.password, db.driver) 
String query = "SELECT * FROM my_table WHERE id > ? ORDER BY id limit 10000" 

Integer maxId = 0 

// Closure that executes the query and returns true if some rows were processed 
Closure executeQuery = { 

    def oldMaxId = maxId 
    sql.eachRow(query, [maxId]) { row -> 

     // Code to process each row goes here..... 
     maxId = row.id 
    } 
    return maxId != oldMaxId 
} 


while (executeQuery()); 

AFAIK limit là một tính năng đặc trưng cho MySQL, nhưng hầu hết các RDBMS khác có tính năng tương đương giới hạn số hàng được truy vấn trả về.

Ngoài ra, tôi chưa thử nghiệm (hoặc thậm chí biên dịch) mã ở trên, vì vậy hãy xử lý cẩn thận!