Thủ thuật để tránh sao chép phân bổ bộ nhớ khi trả về dữ liệu.table hoặc data.frame trong R?

Question

Tôi đã tạo ra một chức năng đó được gọi là để đọc trong và sau đó trả về một data.table:

read.in.data <- function(filename) 
{ 
    library(data.table) 
    data.holder<-read.table(filename, skip=1) 
    return(data.table(data.holder)) 
} 

tôi đã nhận thấy từ quan sát RAM của tôi như là các quá trình chức năng R dường như để xử lý này trong 2 bước (hoặc ít nhất đây là dự đoán tốt nhất của tôi cho những gì đang xảy ra). Ví dụ, khi tôi tải một tập tin 1.5 GB (15 cột với tổng số 136 ký tự mỗi hàng), R có vẻ là 1) đọc trong dữ liệu và sử dụng 1,5 GB RAM, và sau đó 2) sử dụng 1,5 GB RAM khác cho sự trở lại.

Có một số thủ thuật để tạo một hàm để tạo một data.table (hoặc data.frame cho vấn đề đó) và trả về data.table mà không yêu cầu sao chép trong bộ nhớ? Hoặc tôi phải làm tất cả các xử lý cho data.table trong hàm mà bảng được tạo ra?

Quan sát: Nếu tôi chạy mã này hai lần liên tiếp, bộ nhớ sẽ không bị xóa; vì tôi chỉ có 8 GB RAM, chức năng không thành công. Nếu tôi bỏ qua bước lưu trữ "read.table" trong một biến (như được hiển thị bên dưới), tôi không nhận được bất kỳ lợi ích nào. Tôi sẽ không muốn làm điều này theo bất kỳ cách nào, vì tôi muốn có khả năng dọn sạch dữ liệu trước khi trả lại dữ liệu. Khắc phục sự cố của tôi cũng sẽ cho phép tôi xử lý các tệp lớn hơn mà không cần hết bộ nhớ.

short.read.trk <- function(fntrk) 
{ 
    library(data.table) 
    return(data.table(read.table(fntrk, skip=1))) 
} 

Answer 1

Nếu tiết kiệm bộ nhớ được hầu hết những gì bạn đang sau, bạn có thể chuyển đổi nó một cột tại một thời điểm:

library(data.table) 
read.in.data <- function(filename) 
{ 
    data.holder <- read.table(filename, skip=1) 
    dt <- data.table(data.holder[[1]]) 
    names(dt) <- names(data.holder)[1] 
    data.holder[[1]] <- NULL 

    for(n in names(data.holder)) { 
    dt[, `:=`(n, data.holder[[n]]) ] 
    data.holder[[n]] <- NULL 
    } 
    return(dt) 
} 

(chưa được kiểm tra)

Nó sẽ không có bất kỳ nhanh hơn, thực tế nó có thể chậm hơn. Nhưng nó sẽ ít lãng phí bộ nhớ hơn.