Xử lý đa nhân Python: pool.map và sử dụng hàng đợi

Question

Tôi đang cố gắng sử dụng gói multiprocessing cho Python. Khi xem hướng dẫn, kỹ thuật rõ ràng và đơn giản nhất có vẻ là sử dụng pool.map, cho phép người dùng dễ dàng đặt tên cho số lượng quy trình và chuyển pool.map một hàm và danh sách các giá trị cho hàm đó để phân phối trên các CPU. Kỹ thuật khác mà tôi đã gặp phải là using queues để quản lý một nhóm công nhân. answer có một công việc tuyệt vời giải thích sự khác biệt giữa pool.map, pool.apply và pool.apply_async, nhưng lợi thế và bất lợi của việc sử dụng pool.map so với sử dụng hàng đợi như thế nào trong số example này?

Answer 1

Kỹ thuật pool.map là "tập con" của kỹ thuật có hàng đợi. Tức là, nếu không có pool.map, bạn có thể dễ dàng triển khai nó bằng cách sử dụng Pool và Queue. Điều đó nói rằng, việc sử dụng hàng đợi cho phép bạn linh hoạt hơn trong việc kiểm soát các quy trình hồ bơi của mình, tức là bạn có thể tạo các loại thư cụ thể chỉ đọc một lần trong suốt thời gian của quy trình, kiểm soát hành vi tắt máy của quá trình bơi, v.v.

Answer 2

Nếu bạn đang thực sự tìm kiếm "kỹ thuật rõ ràng nhất và đơn giản nhất", sử dụng concurrent.futures.ProcessPoolExecutor có lẽ là cách dễ nhất. Nó có một phương pháp map cũng như một số nguyên thủy khác mà làm cho nó rất hữu dụng. Nó cũng tương thích với Queue s.