Làm thế nào để giảm CUDA đồng bộ hóa độ trễ/trì hoãn

Question

Câu hỏi này có liên quan đến sử dụng các luồng CUDA để chạy nhiều hạt nhân

Trong CUDA có lệnh nhiều đồng bộ cudaStreamSynchronize, CudaDeviceSynchronize, cudaThreadSynchronize, và cũng cudaStreamQuery để kiểm tra xem luồng trống.

Tôi nhận thấy khi sử dụng profiler các lệnh đồng bộ hóa này giới thiệu độ trễ lớn cho chương trình. Tôi đã tự hỏi nếu có ai biết bất kỳ phương tiện để giảm độ trễ này ngoài tất nhiên bằng cách sử dụng như lệnh đồng bộ hóa ít nhất có thể.

Cũng có bất kỳ số liệu nào để đánh giá phương thức đồng bộ hiệu quả nhất. đó là xem xét 3 dòng được sử dụng trong một ứng dụng và hai trong số họ cần phải hoàn thành cho tôi để khởi động một dòng ra nên tôi sử dụng 2 cudaStreamSyncs hoặc chỉ một cudaDeviceSync những gì sẽ phải chịu ít mất?

Answer 1

Sự khác biệt chính giữa các phương pháp đồng bộ hóa là "bỏ phiếu" và "chặn".

"Bỏ phiếu" là cơ chế mặc định để trình điều khiển chờ GPU - nó chờ vị trí bộ nhớ 32 bit để đạt được giá trị nhất định được viết bởi GPU. Nó có thể trở lại chờ đợi nhanh hơn sau khi chờ đợi được giải quyết, nhưng trong khi chờ đợi, nó sẽ đốt cháy một lõi CPU nhìn vào vị trí bộ nhớ đó.

"Chặn" có thể được yêu cầu bằng cách gọi cudaSetDeviceFlags() với cudaDeviceScheduleBlockingSync hoặc gọi cudaEventCreate() với cudaEventBlockingSync. Chặn chờ đợi gây ra trình điều khiển để chèn một lệnh vào bộ đệm lệnh DMA báo hiệu một ngắt khi tất cả các lệnh trước đó trong bộ đệm đã được thực hiện. Trình điều khiển sau đó có thể ánh xạ gián đoạn tới một sự kiện Windows hoặc xử lý tệp Linux, cho phép các lệnh đồng bộ hóa đợi mà không cần phải ghi CPU liên tục, cũng như các phương thức thăm dò mặc định.

Các truy vấn về cơ bản là kiểm tra thủ công vị trí bộ nhớ 32 bit được sử dụng để bỏ phiếu chờ đợi; vì vậy trong hầu hết các trường hợp, chúng rất rẻ. Nhưng nếu ECC được bật, truy vấn sẽ đi sâu vào chế độ hạt nhân để kiểm tra xem có lỗi ECC nào không; và trên Windows, mọi lệnh đang chờ xử lý sẽ được chuyển sang trình điều khiển (yêu cầu phải có một hạt nhân).