Ứng dụng CUDA hết thời gian chờ và không thành công sau vài giây - cách khắc phục sự cố này?

Question

Tôi nhận thấy rằng các ứng dụng CUDA có xu hướng có thời gian chạy tối đa là 5-15 giây trước khi chúng bị lỗi và thoát ra ngoài. Tôi nhận ra nó là lý tưởng để không có ứng dụng CUDA chạy dài nhưng giả định rằng nó là sự lựa chọn đúng để sử dụng CUDA và do số lượng công việc tuần tự trên mỗi thread nó phải chạy dài, có cách nào để mở rộng số lượng thời gian này hay không để vượt qua nó?

Answer 1

Giải pháp cơ bản nhất là chọn một điểm trong tính toán một phần tỷ lệ thông qua đó tôi chắc chắn GPU mà tôi đang làm việc có thể hoàn thành kịp thời, lưu tất cả thông tin trạng thái và dừng, sau đó bắt đầu lần nữa.

Cập nhật: Đối với Linux: Thoát X sẽ cho phép bạn chạy các ứng dụng CUDA miễn là bạn muốn. Không có Tesla yêu cầu (A 9600 được sử dụng để kiểm tra điều này)

Một điều cần lưu ý là nếu X không bao giờ được nhập, trình điều khiển có thể sẽ không được tải và nó sẽ không hoạt động. Nó cũng có vẻ như đối với Linux, chỉ đơn giản là không có bất kỳ X hiển thị vào thời điểm đó cũng sẽ làm việc, do đó, X không cần phải được thoát miễn là bạn màn hình đến một thiết bị đầu cuối không-X màn hình đầy đủ.

Answer 2

Điều này là không thể. Thời gian chờ để ngăn các lỗi trong tính toán lấy GPU trong thời gian dài.

Nếu bạn sử dụng thẻ chuyên dụng cho công việc CUDA, giới hạn thời gian sẽ được dỡ bỏ. Tôi không chắc chắn nếu điều này đòi hỏi một thẻ Tesla, hoặc nếu một GeForce không có màn hình kết nối có thể được sử dụng.

Answer 3

Trên Windows, trình điều khiển đồ họa có bộ đếm thời gian giám sát sẽ giết bất kỳ chương trình đổ bóng nào chạy trong hơn 5 giây. Lưu ý rằng các trình điều khiển Xorg/XFree86 không làm điều này, vì vậy một cách giải quyết có thể là chạy các ứng dụng CUDA trên Linux.

AFAIK không thể vô hiệu hóa bộ đếm giờ giám sát trên Windows. Cách duy nhất để giải quyết vấn đề này trên Windows là sử dụng thẻ thứ hai không có màn hình hiển thị trên đó. Nó không phải là một Tesla nhưng nó không có màn hình hoạt động.

Answer 4

Tôi không phải là chuyên gia CUDA, --- Tôi đã phát triển với AMD Stream SDK, mà AFAIK gần như tương đương.

Bạn có thể tắt bộ hẹn giờ đồng hồ Windows, nhưng đó là không được đề xuất, vì những lý do phải rõ ràng. Để tắt tính năng này, bạn cần phải chỉnh sửa HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Watchdog\Display\DisableBugCheck, tạo REG_DWORD và đặt thành 1. Bạn cũng có thể cần thực hiện điều gì đó trong bảng điều khiển NVidia. Tìm một số tham chiếu đến "Phục hồi VPU" trong tài liệu CUDA.

Lý tưởng nhất là bạn có thể chia các hoạt động hạt nhân của mình thành nhiều lần chuyển dữ liệu để chia nhỏ thành các hoạt động chạy trong thời gian giới hạn.

Ngoài ra, bạn có thể chia miền vấn đề để máy tính có ít pixel đầu ra hơn cho mỗi lệnh. Tức là, thay vì tính toán 1.000.000 điểm ảnh đầu ra trong một lần giảm, hãy đưa ra 10 lệnh tới CPU để tính 100.000 mỗi điểm.

Đơn vị cơ bản phải vừa trong lát thời gian không phải là toàn bộ ứng dụng của bạn, mà là thực hiện một bộ đệm lệnh đơn. Trong AMD Stream SDK, một chuỗi hoạt động dài có thể được chia thành nhiều lát thời gian bằng cách xóa sạch hàng đợi lệnh bằng lệnh CtxFlush(). Có lẽ CUDA có cái gì đó tương tự?

Bạn nên không phải đọc tất cả dữ liệu của bạn qua lại trên xe buýt PCIX trên mọi lát thời gian; bạn có thể để lại kết cấu, v.v. trong bộ nhớ cục bộ của gpu; bạn chỉ thỉnh thoảng mới có một số bộ đệm lệnh, để chứng minh cho hệ điều hành rằng bạn không bị mắc kẹt trong một vòng lặp vô hạn.

Cuối cùng, GPU là nhanh, vì vậy nếu ứng dụng của bạn không thể thực hiện công việc hữu ích trong 5 hoặc 10 giây đó, tôi sẽ coi đó là dấu hiệu cho thấy có sự cố.

[EDIT tháng 3 năm 2010 để cập nhật:] Khóa đăng ký ở trên đã lỗi thời. Tôi nghĩ đó là chìa khóa cho Windows XP 64-bit. Có các khóa registry mới cho Vista và Windows 7. Bạn có thể tìm thấy chúng ở đây: http://www.microsoft.com/whdc/device/display/wddm_timeout.mspx hoặc ở đây: http://msdn.microsoft.com/en-us/library/ee817001.aspx

[EDIT tháng tư năm 2015 để cập nhật:] Đây là nhận được thực sự hết hiệu lực. Cách dễ nhất để vô hiệu hóa TDR cho lập trình Cuda, giả sử bạn đã cài đặt công cụ NVIDIA Nsight, mở Nsight Monitor, bấm vào "Nsight Monitor options", và dưới "General" đặt "WDDM TDR enabled" thành false. Điều này sẽ thay đổi cài đặt đăng ký cho bạn. Đóng và khởi động lại. Mọi thay đổi đối với cài đặt đăng ký TDR sẽ không có hiệu lực cho đến khi bạn khởi động lại.

Answer 5

Giải pháp tôi sử dụng là:

1. Chuyển tất cả thông tin đến thiết bị.
2. Chạy các phiên bản lặp của thuật toán, trong đó mỗi lần lặp sẽ gọi hạt nhân trên bộ nhớ đã được lưu trữ trong thiết bị.
3. Cuối cùng chuyển bộ nhớ để lưu trữ chỉ sau khi tất cả các lần lặp lại đã kết thúc.

Điều này cho phép kiểm soát lặp lại từ CPU (bao gồm tùy chọn hủy), mà không cần thiết bị tốn kém < - > chuyển bộ nhớ máy chủ giữa các lần lặp.

Answer 6

Bộ hẹn giờ giám sát chỉ áp dụng trên các GPU có màn hình được đính kèm.

Trên Windows bộ hẹn giờ là một phần của WDDM, có thể sửa đổi cài đặt (thời gian chờ, hành vi đạt thời gian chờ vv) với một số khóa đăng ký, xem Microsoft article để biết thêm thông tin.

Answer 7

Có thể tắt hành vi này trong Linux. Mặc dù "cơ quan giám sát" có mục đích rõ ràng, nó có thể gây ra một số kết quả rất bất ngờ khi thực hiện tính toán rộng rãi bằng cách sử dụng trình tạo bóng/CUDA.

Các tùy chọn có thể được toggled trong X-cấu hình của bạn (có khả năng /etc/X11/xorg.conf)

Thêm: Lựa chọn "tương tác" "0" đến phần thiết bị của GPU của bạn không được công việc.

thấy CUDA Visual Profiler 'Interactive' X config option?

Để biết chi tiết về cấu hình

và

thấy ftp://download.nvidia.com/XFree86/Linux-x86/270.41.06/README/xconfigoptions.html#Interactive

Đối với một mô tả về các tham số.

Answer 8

Resolve Timeout Detection and Recovery - WINDOWS 7 (32/64 bit)

Tạo một khóa registry trong Windows để thay đổi các thiết lập TDR để một số tiền cao hơn , do đó, Windows sẽ cho phép một sự chậm trễ lâu hơn trước khi bắt đầu quá trình TDR.

Mở Regedit từ Chạy hoặc DOS.

Trong Windows 7 điều hướng vào vùng khóa registry đúng, để tạo ra chìa khóa mới:

HKEY_LOCAL_MACHINE> SYSTEM> CurrentControlSet> Control> GraphicsDrivers.

Có thể có một khóa trong đó có tên là DxgKrnlVersion ở đó là DWord.

Nhấp chuột phải và chọn để tạo ra một mới quan trọng REG_DWORD, và đặt tên là TdrDelay. Giá trị được gán cho nó là số giây trước khi TDR khởi động trong - nó> hiện là 2 tự động trong Windows (thậm chí mặc dù giá trị khóa reg. Không tồn tại> cho đến khi bạn tạo nó). Chỉ định với giá trị mới (tôi đã thử 4 giây), tăng gấp đôi thời gian trước TDR. Sau đó khởi động lại PC. Bạn cần khởi động lại PC trước khi giá trị hoạt động.

Nguồn từ Win7 TDR (Driver Timeout Detection & Recovery) Tôi cũng đã xác minh điều này và hoạt động tốt.