R - Đọc dòng STDIN theo dòng

Question

Tôi muốn truyền một bảng dữ liệu lớn vào R LINE BY LINE và nếu dòng hiện tại có điều kiện cụ thể (cho phép nói các cột đầu tiên> 15), hãy thêm dòng vào dữ liệu trong bộ nhớ. Tôi đã viết mã sau:

count<-1; 
Mydata<-NULL; 
fin <- FALSE; 
while (!fin){ 
    if (count==1){ 
     Myrow=read.delim(pipe('cat /dev/stdin'), header=F,sep="\t",nrows=1); 
     Mydata<-rbind(Mydata,Myrow); 
     count<-count+1; 
    } 
    else { 
     count<-count+1; 
     Myrow=read.delim(pipe('cat /dev/stdin'), header=F,sep="\t",nrows=1); 
     if (Myrow!=""){ 
     if (MyCONDITION){ 
      Mydata<-rbind(Mydata,Myrow); 
     } 
     } 
     else 
     {fin<-TRUE} 
    } 
} 
print(Mydata); 

Nhưng tôi nhận được lỗi "dữ liệu không khả dụng". Xin lưu ý rằng dữ liệu của tôi lớn và tôi không muốn đọc tất cả cùng một lúc và áp dụng điều kiện của tôi (trong trường hợp này thật dễ dàng).

Answer 1

Tôi nghĩ sẽ khôn ngoan hơn khi sử dụng hàm R như readLines. readLines chỉ hỗ trợ đọc một số dòng được chỉ định, ví dụ: 1. Kết hợp rằng với việc mở một kết nối file trước tiên, và sau đó gọi readLines nhiều lần sẽ giúp bạn những gì bạn muốn. Khi gọi readLines nhiều lần, các dòng n tiếp theo sẽ được đọc từ kết nối. Trong mã R:

stop = FALSE 
f = file("/tmp/test.txt", "r") 
while(!stop) { 
    next_line = readLines(f, n = 1) 
    ## Insert some if statement logic here 
    if(length(next_line) == 0) { 
    stop = TRUE 
    close(f) 
    } 
} 

ý kiến ​​bổ sung:

• R có một cách nội bộ của điều trị stdin như file: stdin(). Tôi đề nghị bạn sử dụng nó thay vì sử dụng pipe('cat /dev/stdin'). Điều này có thể làm cho nó mạnh mẽ hơn, và chắc chắn hơn nhiều nền tảng.
• Bạn khởi tạo Mydata ngay từ đầu và tiếp tục phát triển nó bằng cách sử dụng rbind. Nếu số lượng các dòng mà bạn rbind trở nên lớn hơn, điều này sẽ rất chậm. Điều này phải làm với thực tế là khi đối tượng phát triển, hệ điều hành cần phải tìm một vị trí bộ nhớ mới cho nó, mà kết thúc lên lấy rất nhiều của thời gian. Tốt hơn là phân bổ trước MyData hoặc sử dụng vòng lặp kiểu áp dụng.