Cách phân tích cú pháp hiệu quả các tệp văn bản lớn trong Ruby

Question

Tôi đang viết tập lệnh nhập để xử lý tệp có khả năng hàng trăm nghìn dòng (tệp nhật ký). Sử dụng một cách tiếp cận rất đơn giản (dưới đây) đã mất đủ thời gian và bộ nhớ mà tôi cảm thấy như nó sẽ đưa ra MBP của tôi bất cứ lúc nào, vì vậy tôi đã giết chết quá trình.

#... 
File.open(file, 'r') do |f| 
    f.each_line do |line| 
    # do stuff here to line 
    end 
end 

tập tin đặc biệt này có 642.868 dòng:

$ wc -l nginx.log                                  /code/src/myimport 
    642868 ../nginx.log 

Có ai biết của một (bộ nhớ/CPU) cách hiệu quả hơn để xử lý mỗi dòng trong tập tin này?

CẬP NHẬT

Mã bên trong f.each_line từ trên chỉ đơn giản là phù hợp với một regex chống lại dòng. Nếu không khớp, tôi thêm dòng vào một mảng @skipped. Nếu nó trôi qua, tôi định dạng các kết quả phù hợp thành một băm (được khóa bởi "trường" của trận đấu) và nối nó vào một mảng @results.

# regex built in `def initialize` (not on each line iteration) 
@regex = /(\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}) - (.{0})- \[([^\]]+?)\] "(GET|POST|PUT|DELETE) ([^\s]+?) (HTTP\/1\.1)" (\d+) (\d+) "-" "(.*)"/ 

#... loop lines 
match = line.match(@regex) 
if match.nil? 
    @skipped << line 
else 
    @results << convert_to_hash(match) 
end 

Tôi hoàn toàn cởi mở với điều này là một quá trình không hiệu quả. Tôi có thể làm cho mã bên trong của convert_to_hash sử dụng một lambda precomputed thay vì tìm ra các tính toán mỗi lần. Tôi đoán tôi chỉ giả định nó là bản lặp dòng chính nó là vấn đề, không phải là mã mỗi dòng.

Answer 1

Tôi vừa thực hiện kiểm tra trên một tệp 600.000 dòng và nó lặp lại trong tệp trong chưa đầy nửa giây. Tôi đoán sự chậm chạp không phải là trong các tập tin looping nhưng dòng phân tích cú pháp. Bạn có thể dán mã phân tích cú pháp của mình không?

Answer 2

Nếu bạn đang sử dụng bash (hoặc tương tự), bạn có thể có thể để tối ưu hóa như thế này:

Trong input.rb:

while x = gets 
     # Parse 
end 

sau đó trong bash:

cat nginx.log | ruby -n input.rb 

Các -n gắn cờ cho ruby ​​là assume 'while gets(); ... end' loop around your script, điều này có thể khiến nó làm điều gì đó đặc biệt để tối ưu hóa.

Bạn cũng có thể muốn xem xét giải pháp được viết trước cho sự cố, vì điều đó sẽ nhanh hơn.

Answer 3

Điều này blogpost bao gồm một số phương pháp phân tích cú pháp tệp nhật ký lớn. Có lẽ đó là một nguồn cảm hứng. Ngoài ra, hãy xem file-tail gem