Cách đặt thời gian chờ cho các yêu cầu http.Get() ở Golang?

Question

Tôi đang tạo một trình tìm nạp URL trong Go và có danh sách các URL cần tìm nạp. Tôi gửi http.Get() yêu cầu tới từng URL và nhận phản hồi của họ.

resp,fetch_err := http.Get(url) 

Làm cách nào để đặt thời gian chờ tùy chỉnh cho từng yêu cầu Nhận? (Thời gian mặc định là rất dài và điều đó làm cho trình tìm nạp của tôi thực sự chậm.) Tôi muốn trình tìm nạp của tôi có thời gian chờ khoảng 40-45 giây sau đó nó sẽ trả về "yêu cầu hết thời gian" và chuyển sang URL tiếp theo.

Tôi làm cách nào để đạt được điều này?

Answer 1

Rõ ràng tại Gò 1,3 http.Client có Timeout lĩnh vực

timeout := time.Duration(5 * time.Second) 
client := http.Client{ 
    Timeout: timeout, 
} 
client.Get(url) 

Đó là thực hiện các trick cho tôi.

Answer 2

Một cách nhanh chóng và dơ bẩn:

http.DefaultTransport.(*http.Transport).ResponseHeaderTimeout = time.Second * 45 

này được biến đổi trạng thái toàn cầu w/o phối hợp bất kỳ. Tuy nhiên, nó có thể là có thể okay cho trình tìm nạp url của bạn. Nếu không, hãy tạo một cá thể riêng tư của http.RoundTripper:

var myTransport http.RoundTripper = &http.Transport{ 
     Proxy:     http.ProxyFromEnvironment, 
     ResponseHeaderTimeout: time.Second * 45, 
} 

var myClient = &http.Client{Transport: myTransport} 

resp, err := myClient.Get(url) 
... 

Không có gì ở trên được thử nghiệm.

Answer 3

Bạn cần thiết lập Client của riêng mình với Transport của riêng bạn sử dụng chức năng Quay số tùy chỉnh bao quanh khoảng DialTimeout.

Giống như (hoàn toàn chưa được kiểm tra) this:

var timeout = time.Duration(2 * time.Second) 

func dialTimeout(network, addr string) (net.Conn, error) { 
    return net.DialTimeout(network, addr, timeout) 
} 

func main() { 
    transport := http.Transport{ 
     Dial: dialTimeout, 
    } 

    client := http.Client{ 
     Transport: &transport, 
    } 

    resp, err := client.Get("http://some.url") 
} 

Answer 4

Để thêm vào câu trả lời Volker, nếu bạn cũng muốn đặt thời gian chờ đọc/ghi, thêm vào thời gian chờ kết nối, bạn có thể làm điều gì đó như sau đây

package httpclient 

import (
    "net" 
    "net/http" 
    "time" 
) 

func TimeoutDialer(cTimeout time.Duration, rwTimeout time.Duration) func(net, addr string) (c net.Conn, err error) { 
    return func(netw, addr string) (net.Conn, error) { 
     conn, err := net.DialTimeout(netw, addr, cTimeout) 
     if err != nil { 
      return nil, err 
     } 
     conn.SetDeadline(time.Now().Add(rwTimeout)) 
     return conn, nil 
    } 
} 

func NewTimeoutClient(connectTimeout time.Duration, readWriteTimeout time.Duration) *http.Client { 

    return &http.Client{ 
     Transport: &http.Transport{ 
      Dial: TimeoutDialer(connectTimeout, readWriteTimeout), 
     }, 
    } 
} 

Mã này được kiểm tra và đang hoạt động trong quá trình sản xuất. Các ý chính đầy đủ với các bài kiểm tra có sẵn ở đây https://gist.github.com/dmichael/5710968

Hãy nhận biết rằng bạn sẽ cần phải tạo ra một khách hàng mới cho mỗi yêu cầu vì sự conn.SetDeadline mà tham chiếu đến một điểm nào đó trong tương lai từ time.Now()

Answer 5

Bạn có thể sử dụng https://github.com/franela/goreq mà xử lý thời gian chờ theo cách thời trang và đơn giản.

Answer 6

Cuối cùng, tôi đã kết thúc bằng chức năng tiện ích này cho tất cả các yêu cầu yêu cầu hết thời gian chờ. Vì một số lý do mã @sparrovv đã hoạt động.

// reqType is one of HTTP request strings (GET, POST, PUT, DELETE, etc.) 
func DoRequest(reqType string, url string, headers map[string]string, data []byte, timeoutSeconds int) (int, []byte, map[string][]string, error) { 
    var reader io.Reader 
    if data != nil && len(data) > 0 { 
     reader = bytes.NewReader(data) 
    } 

    req, err := http.NewRequest(reqType, url, reader) 
    if err != nil { 
     return 0, nil, nil, err 
    } 

    // I strongly advise setting user agent as some servers ignore request without it 
    req.Header.Set("User-Agent", "YourUserAgentString") 
    if headers != nil { 
     for k, v := range headers { 
      req.Header.Set(k, v) 
     } 
    } 

    var (
     statusCode int 
     body  []byte 
     timeout time.Duration 
     ctx  context.Context 
     cancel  context.CancelFunc 
     header  map[string][]string 
    ) 
    timeout = time.Duration(time.Duration(timeoutSeconds) * time.Second) 
    ctx, cancel = context.WithTimeout(context.Background(), timeout) 
    defer cancel() 
    err = httpDo(ctx, req, func(resp *http.Response, err error) error { 
     if err != nil { 
      return err 
     } 

     defer resp.Body.Close() 
     body, _ = ioutil.ReadAll(resp.Body) 
     statusCode = resp.StatusCode 
     header = resp.Header 

     return nil 
    }) 

    return statusCode, body, header, err 
}