Cách khởi động lại Celery một cách duyên dáng mà không làm chậm công việc

Question

Chúng tôi sử dụng Celery với ứng dụng web Django của chúng tôi để quản lý các tác vụ ngoại tuyến; một số tác vụ này có thể chạy tới 120 giây.

Bất cứ khi nào chúng tôi thực hiện bất kỳ sửa đổi mã nào, chúng tôi cần phải khởi động lại Celery để yêu cầu tải lại mã Python mới. Giải pháp hiện tại của chúng tôi là gửi một SIGTERM đến quy trình Celery chính (kill -s 15 `cat /var/run/celeryd.pid`), sau đó đợi nó chết và khởi động lại nó (python manage.py celeryd --pidfile=/var/run/celeryd.pid [...]).

Do nhiệm vụ dài hạn, điều này thường có nghĩa là việc tắt máy sẽ mất một hoặc hai phút, trong đó không có nhiệm vụ mới nào được xử lý, gây ra sự chậm trễ đáng chú ý cho người dùng hiện tại trên trang web. Tôi đang tìm cách bảo Celery tắt máy, nhưng sau đó ngay lập tức khởi chạy một thể hiện Celery mới để bắt đầu chạy các nhiệm vụ mới.

Những điều mà không công việc:

• Gửi SIGHUP đến quá trình chính: điều này gây ra cần tây để cố gắng "khởi động lại", bằng cách thực hiện một shutdown ấm và sau đó việc tái giới thiệu bản thân. Điều này không chỉ mất một thời gian dài, nó thậm chí không hoạt động, bởi vì dường như quá trình mới ra mắt trước khi cái cũ chết, vì vậy cái mới than phiền ERROR: Pidfile (/var/run/celeryd.pid) already exists. Seems we're already running? (PID: 13214) và chết ngay lập tức. (Điều này giống như một lỗi trong chính Celery; tôi đã let them know về nó.)
• Gửi SIGTERM đến quy trình chính và sau đó ngay lập tức khởi chạy một cá thể mới: cùng một vấn đề với Pidfile.
• Vô hiệu hóa Pidfile hoàn toàn: không có nó, chúng tôi không có cách nào để nói quá trình Celery nào là quá trình chính cần gửi SIGTERM khi chúng ta muốn tắt máy. Chúng tôi cũng không có cách nào đáng tin cậy để kiểm tra xem quy trình chính vẫn còn sống hay không.

Answer 1

Bạn có thể khởi chạy nó bằng tên tệp pid tùy chỉnh không. Có thể timestamped, và chìa khóa để biết rằng PID để giết?

CELERYD_PID_FILE="/var/run/celery/%n_{timestamp}.pid"

^Tôi không biết cú pháp dấu thời gian nhưng có lẽ bạn làm hoặc bạn có thể tìm thấy nó?

sau đó sử dụng thời gian hệ thống hiện tại để loại bỏ bất kỳ thẻ cũ nào và khởi chạy một phiên bản mới?

Answer 2

celeryd có tùy chọn --autoreload. Nếu được kích hoạt, nhân viên cần tây (quy trình chính) sẽ phát hiện những thay đổi trong mô-đun cần tây và khởi động lại tất cả các quy trình công nhân. Ngược lại với tín hiệu SIGHUP, tự động tải lại khởi động lại từng quá trình một cách độc lập khi tác vụ thực thi hiện tại kết thúc. Nó có nghĩa là trong khi một quy trình công nhân đang khởi động lại các tiến trình còn lại có thể thực hiện các nhiệm vụ.

http://celery.readthedocs.org/en/latest/userguide/workers.html#autoreloading

Answer 3

Tôi vừa mới sửa lỗi với SIGHUP: https://github.com/celery/celery/pull/662

Answer 4

rm *.pyc 

Điều này làm cho nhiệm vụ cập nhật để được nạp lại. Tôi đã phát hiện ra thủ thuật này gần đây, tôi chỉ hy vọng không có tác dụng phụ khó chịu nào.

Answer 5

Bạn sử dụng SIGHUP (1) để tắt máy cần tây. Tôi không chắc chắn nếu nó thực sự gây ra một tắt máy ấm áp. Nhưng SIGINT (2) sẽ gây tắt máy. Hãy thử SIGINT thay cho SIGHUP và sau đó bắt đầu cần tây theo cách thủ công trong kịch bản của bạn (tôi đoán).

Answer 6

Một chút trễ, nhưng điều đó có thể được sửa bằng cách xóa tệp có tên celerybeat.pid.

Đã làm việc cho tôi.