Curl: sleep/delay giữa các yêu cầu

Question

Tôi đang cố gắng tải xuống các bản ghi ngoại lệ bằng cách sử dụng lệnh sau.

curl --cookie ./flurry.jar -k -L "https://dev.flurry.com/exceptionLogsCsv.do?projectID=49999&versionCut=versionsAll&intervalCut=allTime&direction=1&offset=[0-100:10]" --output "exception#1.csv" 

Nó hoạt động tốt và tải xuống tệp csv dựa trên độ lệch (10,20,30 vv). Tôi muốn chèn độ trễ giữa mỗi yêu cầu. Có thể làm điều đó trong CURL không?

Answer 1

Sử dụng vỏ bash (Linux):

while : 
do 
    curl --cookie ./flurry.jar -k -L "https://dev.flurry.com/exceptionLogsCsv.do?projectID=49999&versionCut=versionsAll&intervalCut=allTime&direction=1&offset=[0-100:10]" --output "exception#1.csv" 
    sleep 5m 
done 

Nó là một vòng lặp vô hạn, và sự chậm trễ được cho bởi lệnh sleep.

Chỉnh sửa. Trên máy tính Windows, bạn có thể thực hiện mẹo này thay thế:

for /L %i in (0,0,0) do (
    curl --cookie ./flurry.jar -k -L "https://dev.flurry.com/exceptionLogsCsv.do?projectID=49999&versionCut=versionsAll&intervalCut=allTime&direction=1&offset=[0-100:10]" --output "exception#1.csv" 
    ping -n XX 127.0.0.1>NUL 
) 

Lệnh sleep không khả dụng trên Windows. Nhưng bạn có thể sử dụng ping để "mô phỏng" nó. Chỉ cần thay thế XX ở trên bằng số giây bạn muốn trì hoãn.

Answer 2

wget có các tùy chọn trì hoãn

wget --wait=seconds 

và cũng chậm trễ ngẫu nhiên lựa chọn

wget --random-wait 

Answer 3

trong bash, điều này sẽ tạm dừng một số ngẫu nhiên của giây trong khoảng 0-60:

for d in {0..100..10} 
do 
    i=`printf "%03d" $d` 
    curl --cookie ./flurry.jar -k -L 'https://dev.flurry.com/exceptionLogsCsv.do?projectID=49999&versionCut=versionsAll&intervalCut=allTime&direction=1&offset='$d --output 'exception'$i'.csv' 
    sleep $(($RANDOM*60/32767)) 
done