Đọc một dòng cụ thể từ tệp lớn trong Perl

Question

Có cách nào nhanh và hiệu quả để đọc các dòng tệp lớn cụ thể mà không tải nó vào bộ nhớ không?

Tôi đã viết một kịch bản perl, chạy nhiều dĩa và tôi muốn họ đọc các dòng cụ thể từ một tệp.

Tại thời điểm Im sử dụng một lệnh bên ngoài:

sub getFileLine { 
    my ($filePath, $lineWanted) = @_; 
    $SIG{PIPE} = '_IGNORE_'; 
    open(my $fh, '-|:utf8', "tail -q -n +$lineWanted \"$filePath\" | head -n 1"); 
    my $line = <$fh>; 
    close $fh; 
    chomp($line); 
    return $line; 
} 

nhanh của nó và nó hoạt động - nhưng có lẽ đó là một "Perl-ish" cách hơn, nhanh và bộ nhớ hiệu quả như thế này? Như bạn đã biết, việc tạo một quy trình rẽ nhánh trong Perl sẽ sao chép bộ nhớ chính - vì vậy nếu quá trình chính đang sử dụng 10MB, ngã ba sẽ sử dụng ít nhất là nhiều.

Mục tiêu của tôi là giữ quy trình ngã ba (vì vậy quá trình chính cho đến khi chạy dĩa cũng) sử dụng bộ nhớ càng thấp càng tốt. Đó là lý do tại sao tôi không muốn tải toàn bộ tập tin vào bộ nhớ.

Answer 1

Trước khi bạn tiếp tục, điều quan trọng là phải hiểu cách hoạt động của fork. Khi bạn fork một quá trình, HĐH sử dụng các ngữ nghĩa copy-on-write để chia sẻ phần lớn bộ nhớ của quy trình cha và con; chỉ số lượng bộ nhớ khác nhau giữa cha mẹ và con cần được phân bổ riêng.

Đối với đọc một dòng duy nhất của một tập tin trong Perl, đây là một cách đơn giản:

open my $fh, '<', $filePath or die "$filePath: $!"; 
my $line; 
while(<$fh>) { 
    if($. == $lineWanted) { 
     $line = $_; 
     last; 
    } 
} 

này sử dụng $. biến đặc biệt mà giữ số dòng của filehandle hiện hành.

Answer 2

Hãy xem Tie::File mô-đun chính.

Answer 3

Bạn không cần phải ngã ba. Như bạn có thể tưởng tượng, việc đọc một dòng cụ thể từ một tệp là một hoạt động đủ phổ biến mà một trong các mô-đun 20k trên CPAN đã làm điều đó rồi.

File::ReadBackwards là bộ nhớ hiệu quả và nhanh chóng.