cách bật yêu cầu chế độ không đồng bộ?

Question

cho mã này:

import sys 

import gevent 
from gevent import monkey 

monkey.patch_all() 

import requests 
import urllib2 

def worker(url, use_urllib2=False): 
    if use_urllib2: 
     content = urllib2.urlopen(url).read().lower() 
    else: 
     content = requests.get(url, prefetch=True).content.lower() 
    title = content.split('<title>')[1].split('</title>')[0].strip() 

urls = ['http://www.mail.ru']*5 

def by_requests(): 
    jobs = [gevent.spawn(worker, url) for url in urls] 
    gevent.joinall(jobs) 

def by_urllib2(): 
    jobs = [gevent.spawn(worker, url, True) for url in urls] 
    gevent.joinall(jobs) 

if __name__=='__main__': 
    from timeit import Timer 
    t = Timer(stmt="by_requests()", setup="from __main__ import by_requests") 
    print 'by requests: %s seconds'%t.timeit(number=3) 
    t = Timer(stmt="by_urllib2()", setup="from __main__ import by_urllib2") 
    print 'by urllib2: %s seconds'%t.timeit(number=3) 
    sys.exit(0) 

kết quả này:

by requests: 18.3397213892 seconds 
by urllib2: 2.48605842363 seconds 

trong sniffer có vẻ này:

mô tả: 5 yêu cầu đầu tiên được sended bởi thư viện yêu cầu, 5 yêu cầu tiếp theo là được gửi bởi thư viện urllib2. màu đỏ - là thời gian khi công việc bị đóng băng, tối - khi dữ liệu nhận được ... wtf ?!

Làm thế nào để đặt thư viện socket được vá và thư viện phải hoạt động giống nhau? Cách yêu cầu sử dụng mà không có yêu cầu. Đồng bộ hóa cho công việc không đồng bộ?

Answer 1

Xin lỗi Kenneth Reitz. Thư viện của anh ấy thật tuyệt vời.

Tôi ngu ngốc. Tôi cần chọn miếng vá khỉ cho httplib như thế này:

gevent.monkey.patch_all(httplib=True) 

Vì miếng vá cho httplib bị tắt theo mặc định.

Answer 2

Tôi đã chạy mã trên máy của mình (python 2.7.1, gevent 0.13.0, requests 0.10.6). Nó bật ra rằng thời gian luôn luôn là một tốt thứ hai hoặc hai nhanh hơn khi sử dụng các mô-đun yêu cầu. Bạn đang sử dụng phiên bản nào? Việc nâng cấp có thể chỉ giải quyết vấn đề cho bạn.

by requests: 3.7847161293 seconds 
by urllib2: 4.92611193657 seconds 

by requests: 2.90777993202 seconds 
by urllib2: 7.99798607826 seconds 

Answer 3

Các yêu cầu có hỗ trợ gevent tích hợp vào codebase:

http://docs.python-requests.org/en/latest/user/advanced/#asynchronous-requests

Answer 4

Như đã chỉ ra bởi Kenneth, một điều chúng ta có thể làm là để cho các requests mô-đun xử lý các phần không đồng bộ. Tôi đã thực hiện các thay đổi đối với mã của bạn cho phù hợp. Một lần nữa, đối với tôi, kết quả cho thấy nhất quán rằng mô-đun requests hoạt động tốt hơn urllib2

Làm điều này có nghĩa là chúng tôi không thể "chuyển" phần gọi lại. Nhưng điều đó sẽ không sao, vì lợi ích chính chỉ nên được mong đợi với các yêu cầu HTTP do sự chậm trễ yêu cầu/đáp ứng.

import sys 

import gevent 
from gevent import monkey 

monkey.patch_all() 

import requests 
from requests import async 
import urllib2 

def call_back(resp): 
    content = resp.content 
    title = content.split('<title>')[1].split('</title>')[0].strip() 
    return title 

def worker(url, use_urllib2=False): 
    if use_urllib2: 
     content = urllib2.urlopen(url).read().lower() 
     title = content.split('<title>')[1].split('</title>')[0].strip() 

    else: 
     rs = [async.get(u) for u in url] 
     resps = async.map(rs) 
     for resp in resps: 
      call_back(resp) 

urls = ['http://www.mail.ru']*5 

def by_requests(): 
    worker(urls) 
def by_urllib2(): 
    jobs = [gevent.spawn(worker, url, True) for url in urls] 
    gevent.joinall(jobs) 

if __name__=='__main__': 
    from timeit import Timer 
    t = Timer(stmt="by_requests()", setup="from __main__ import by_requests") 
    print 'by requests: %s seconds'%t.timeit(number=3) 
    t = Timer(stmt="by_urllib2()", setup="from __main__ import by_urllib2") 
    print 'by urllib2: %s seconds'%t.timeit(number=3) 
    sys.exit(0) 

Dưới đây là một trong những kết quả của tôi:

by requests: 2.44117593765 seconds 
by urllib2: 4.41298294067 seconds 

Answer 5

Từ yêu cầu doc ​​Blocking Or Non-Blocking:

If you are concerned about the use of blocking IO, there are lots of projects out there that combine Requests with one of Python's asynchronicity frameworks. Two excellent examples are grequests and requests-futures .