Làm thế nào để tối ưu hóa cào với getURL() trong R

Question

Tôi đang cố gắng để cạo tất cả các hóa đơn từ hai trang trên trang web của Hạ viện Pháp của quốc hội. Các trang bao gồm 2002-2012 và đại diện cho ít hơn 1.000 hóa đơn mỗi.

Đối với điều này, tôi cạo với getURL qua vòng lặp này:

b <- "http://www.assemblee-nationale.fr" # base 
l <- c("12","13") # legislature id 

lapply(l, FUN = function(x) { 
    print(data <- paste(b, x, "documents/index-dossier.asp", sep = "/")) 

    # scrape 
    data <- getURL(data); data <- readLines(tc <- textConnection(data)); close(tc) 
    data <- unlist(str_extract_all(data, "dossiers/[[:alnum:]_-]+.asp")) 
    data <- paste(b, x, data, sep = "/") 
    data <- getURL(data) 
    write.table(data,file=n <- paste("raw_an",x,".txt",sep="")); str(n) 
}) 

Có cách nào để tối ưu hóa các chức năng getURL() đây? Tôi không thể sử dụng tải xuống đồng thời bằng cách chuyển tùy chọn async=TRUE, tùy chọn này mang lại cho tôi cùng một lỗi mỗi lần:

Error in function (type, msg, asError = TRUE) : 
Failed to connect to 0.0.0.12: No route to host 

Bất kỳ ý tưởng nào? Cảm ơn!

Answer 1

Hãy thử mclapply {} đa lõi thay vì lapply.

"mclapply là một phiên bản song song của lapply, nó sẽ trả về một danh sách các chiều dài tương tự như X, mỗi phần tử trong số đó là kết quả của việc áp dụng FUN tới phần tử tương ứng của X." (http://www.rforge.net/doc/packages/multicore/mclapply.html)

Nếu điều đó không hiệu quả, bạn có thể có hiệu suất tốt hơn bằng gói XML. Các hàm như xmlTreeParse sử dụng gọi không đồng bộ.

"Lưu ý xmlTreeParse mà không cho phép một phong cách lai chế biến mà cho phép chúng ta áp dụng để xử lý các nút trong cây như họ đang được chuyển đổi sang các đối tượng R. Đây là một phong cách hướng sự kiện hoặc không đồng bộ gọi điện thoại. " (http://www.inside-r.org/packages/cran/XML/docs/xmlEventParse)

Answer 2

Tại sao nên sử dụng R? Đối với công việc cạo lớn, bạn nên sử dụng một cái gì đó đã được phát triển cho công việc. Tôi đã có kết quả tốt với Down Them All, một trình duyệt bổ sung vào. Chỉ cần cho nó biết bắt đầu từ đâu, làm thế nào để đi sâu, những gì mô hình để làm theo, và nơi để đổ HTML.

Sau đó sử dụng R để đọc dữ liệu từ tệp HTML. Ưu điểm lớn - những tiện ích này được phát triển đặc biệt cho nhiệm vụ để chúng sẽ thực hiện nhiều lượt tải xuống (có thể điều khiển được), chúng sẽ gửi tiêu đề phù hợp để câu hỏi tiếp theo của bạn sẽ không 'làm cách nào để đặt chuỗi tác nhân người dùng với RCurl? ', và họ có thể đối phó với việc thử lại khi một số tải xuống không thành công, điều mà họ chắc chắn sẽ làm. Tất nhiên những bất lợi là bạn không thể dễ dàng bắt đầu quá trình này tự động, trong trường hợp đó có thể bạn muốn được tốt hơn off với 'curl' trên dòng lệnh, hoặc một số tiện ích phản chiếu dòng lệnh khác.

Thành thật mà nói, bạn đã có mọi thứ tốt hơn để làm với thời gian của bạn hơn so với mã ghi trang web trong R ...