Xử lý đồng thời/xử lý đồng bộ Ruby (với trường hợp sử dụng đơn giản)

Question

Tôi đã xem xét khả năng xử lý song song/không đồng bộ của Ruby và đọc nhiều bài viết và bài đăng trên blog. Tôi đã xem qua EventMachine, Fibers, Revactor, Reia, v.v. Thật không may, tôi không thể tìm ra giải pháp đơn giản, hiệu quả (và không phải IO-blocking) cho trường hợp sử dụng rất đơn giản này:

File.open('somelogfile.txt') do |file| 
    while line = file.gets  # (R) Read from IO 
    line = process_line(line) # (P) Process the line 
    write_to_db(line)   # (W) Write the output to some IO (DB or file) 
    end 
end 

là bạn có thể thấy, kịch bản nhỏ của tôi đang thực hiện ba hoạt động đọc (R), quá trình (P) & ghi (W). Giả sử - vì đơn giản - đó mỗi hoạt động có chính xác 1 đơn vị thời gian (ví dụ 10ms), do đó mã hiện tại sẽ làm điều gì đó như thế này (5 dòng):

Time:  123456789(15 units in total) 
Operations: RPWRPWRPWRPWRPW 

Nhưng, tôi muốn nó làm điều gì đó như thế này:

Time:  1234567 (7 units in total) 
Operations: RRRRR 
      PPPPP 
       WWWWW 

Rõ ràng, tôi có thể chạy ba quá trình (đọc, xử lý & nhà văn) và vượt qua đọc các dòng từ người đọc vào hàng đợi xử lý và sau đó vượt qua dòng chế biến thành hàng đợi nhà văn (tất cả điều phối thông qua ví dụ RabbitMQ) . Nhưng, trường hợp sử dụng rất đơn giản, nó không cảm thấy đúng.

Bất kỳ manh mối nào về cách thực hiện điều này (không chuyển từ Ruby sang Erlang, Closure hoặc Scala)?

Answer 1

Khám phá đào (http://peach.rubyforge.org/). Thực hiện song song "mỗi" không thể đơn giản hơn. Tuy nhiên, như các tài liệu nói, bạn sẽ cần phải chạy theo JRuby để sử dụng luồng bản địa của JVM.

Xem phản hồi của Jorg Mittag với this SO question để biết nhiều chi tiết về khả năng đa luồng của các trình thông dịch Ruby khác nhau.

Answer 2

Nếu bạn cần nó thực sự song song (từ một quy trình đơn lẻ), tôi tin rằng bạn sẽ phải sử dụng JRuby để nhận các chuỗi gốc thực sự và không có GIL.

Bạn có thể sử dụng một cái gì đó như DRb để phân phối quá trình xử lý trên nhiều quy trình/lõi, nhưng đối với trường hợp sử dụng của bạn, điều này hơi nhiều. Thay vào đó, bạn có thể thử có nhiều quy trình giao tiếp bằng cách sử dụng đường ống:

$ cat somelogfile.txt | ruby ./proc-process | ruby ./proc-store 

Trong trường hợp này, mỗi phần là quá trình riêng có thể chạy song song nhưng đang giao tiếp bằng STDIN/STDOUT. Đây có lẽ là cách tiếp cận dễ nhất (và nhanh nhất) cho vấn đề của bạn.

# proc-process 
while line = $stdin.gets do 
    # do cpu intensive stuff here 
    $stdout.puts "data to be stored in DB" 
    $stdout.flush # this is important 
end 

# proc-store 
while line = $stdin.gets do 
    write_to_db(line) 
end