Tôi có một khung dữ liệu khá lớn trong R mà tôi muốn xuất sang SPSS. Tập tin này đã khiến tôi mất nhiều giờ để nhập nó vào R ngay từ đầu, tuy nhiên tôi đã sử dụng thành công read.fwf() bằng cách sử dụng các tùy chọn comment.char="%" (một ký tự không xuất hiện trong tệp) và fill= TRUE (đó là tệp ASCII có chiều rộng cố định với một số hàng thiếu tất cả các biến, gây ra thông báo lỗi).Cách hiệu quả nhất để xuất dữ liệu lớn (3.9 mill obs) thành tệp văn bản?
Dù sao, khung dữ liệu của tôi hiện bao gồm 3,9 quan sát nhà máy và 48 biến (tất cả ký tự). Tôi có thể ghi nó vào tập tin khá nhanh chóng bằng cách chia nó thành 4 x 1 mill obsith với df2 <- df[1:1000000,] theo sau là write.table(df2) vv, nhưng không thể ghi toàn bộ tập tin trong một lần quét mà không cần máy tính khóa và cần thiết lập lại cứng lên.
Sau khi nghe những câu chuyện giai thoại về cách R không phù hợp với các tập dữ liệu lớn trong nhiều năm, đây là lần đầu tiên tôi gặp sự cố loại này. Tôi tự hỏi liệu có cách tiếp cận khác (cấp thấp "bán phá giá" các tập tin trực tiếp vào đĩa?) Hoặc cho dù có một số gói không rõ với tôi mà có thể xử lý xuất khẩu các tập tin lớn của loại này một cách hiệu quả?
Hi Richie, tôi không chắc liệu 8 Gb RAM có đủ điều kiện là "viết tắt RAM" hay không, ngay cả với tập dữ liệu này. Tuy nhiên, tôi sẽ xem xét sử dụng 'sqldf()' như được đề xuất bởi JD Long vì tôi đang sử dụng nó rất nhiều trong các phân tích của mình. Cảm ơn con trỏ! – jans