cách tải xuống tệp nhị phân lớn với RCurl * sau khi xác thực * máy chủ

Question

tôi đã hỏi this question về việc thực hiện tác vụ này với gói httr, nhưng tôi không nghĩ rằng nó có thể sử dụng httr. vì vậy tôi đã viết lại mã của mình để sử dụng RCurl thay thế - nhưng tôi vẫn đang vấp phải thứ gì đó có thể liên quan đến writefunction .. nhưng tôi thực sự không hiểu tại sao.

bạn sẽ có thể sao chép tác phẩm của mình bằng cách sử dụng phiên bản R bit 32 bit, do đó bạn sẽ đạt đến giới hạn bộ nhớ nếu bạn đọc bất kỳ thứ gì vào RAM. tôi cần một giải pháp tải trực tiếp vào đĩa cứng.

để bắt đầu, mã này để hoạt động - tệp được nén được lưu thích hợp vào đĩa.

library(RCurl) 
filename <- tempfile() 
f <- CFILE(filename, "wb") 
url <- "http://www2.census.gov/acs2011_5yr/pums/csv_pus.zip" 
curlPerform(url = url, writedata = f@ref) 
close(f) 
# 2.1 GB file successfully written to disk 

bây giờ đây là một số mã RCurl không hoạt động. như đã nêu trong the previous question, sao chép chính xác điều này sẽ yêu cầu tạo một trích xuất trên ipums.

your.email <- "email@address.com" 
your.password <- "password" 
extract.path <- "https://usa.ipums.org/usa-action/downloads/extract_files/some_file.csv.gz" 

library(RCurl) 

values <- 
    list(
     "login[email]" = your.email , 
     "login[password]" = your.password , 
     "login[is_for_login]" = 1 
    ) 

curl = getCurlHandle() 

curlSetOpt(
    cookiejar = 'cookies.txt', 
    followlocation = TRUE, 
    autoreferer = TRUE, 
    ssl.verifypeer = FALSE, 
    curl = curl 
) 

params <- 
    list(
     "login[email]" = your.email , 
     "login[password]" = your.password , 
     "login[is_for_login]" = 1 
    ) 

html <- postForm("https://usa.ipums.org/usa-action/users/validate_login", .params = params, curl = curl) 
dl <- getURL("https://usa.ipums.org/usa-action/extract_requests/download" , curl = curl) 

và bây giờ tôi đã đăng nhập, hãy thử các lệnh giống như trên, nhưng với đối tượng curl để giữ cookie.

filename <- tempfile() 
f <- CFILE(filename, mode = "wb") 

dòng này breaks--

curlPerform(url = extract.path, writedata = f@ref, curl = curl) 
close(f) 

# the error is: 
Error in curlPerform(url = extract.path, writedata = f@ref, curl = curl) : 
    embedded nul in string: [[binary jibberish here]] 

câu trả lời cho bài trước của tôi gọi tôi đến this c-level writefunction câu trả lời, nhưng tôi không biết gì về làm thế nào để tái tạo mà chương trình curl_writer C (trên cửa sổ?) ..

dyn.load("curl_writer.so") 
writer <- getNativeSymbolInfo("writer", PACKAGE="curl_writer")$address 
curlPerform(URL=url, writefunction=writer) 

..or lý do tại sao nó thậm chí còn cần thiết, cho rằng năm dòng mã ở trên cùng của công việc câu hỏi này mà không cần bất cứ điều gì điên như getNativeSymbolInfo. tôi chỉ không hiểu tại sao đi qua trong đó thêm curl đối tượng lưu trữ xác thực/cookie và nói với nó không để xác minh SSL sẽ gây ra mã mà nếu không hoạt động .. để phá vỡ?

Answer 1

bây giờ có thể với gói httr. cảm ơn hadley!

https://github.com/hadley/httr/issues/44

Answer 2

1. Từ this link tạo một file có tên curl_writer.c và lưu nó vào C:\<folder where you save your R files>

   #include <stdio.h> 
   
   /** 
   * Original code just sent some message to stderr 
   */ 
   size_t writer(void *buffer, size_t size, size_t nmemb, void *stream) { 
       fwrite(buffer,size,nmemb,(FILE *)stream); 
       return size * nmemb; 
   } 
   

2. mở một cửa sổ lệnh, đi đến thư mục mà bạn đã lưu curl_writer.c và chạy trình biên dịch R

   c:> cd "C:\<folder where you save your R files>" 
   c:> R CMD SHLIB -o curl_writer.dll curl_writer.c 
   

3. Mở R và chạy tập lệnh của bạn

   C:> R 
   
   your.email <- "email@address.com" 
   your.password <- "password" 
   extract.path <- "https://usa.ipums.org/usa-action/downloads/extract_files/some_file.csv.gz" 
   
   library(RCurl) 
   
   values <- 
       list(
        "login[email]" = your.email , 
        "login[password]" = your.password , 
        "login[is_for_login]" = 1 
       ) 
   
   curl = getCurlHandle() 
   
   curlSetOpt(
       cookiejar = 'cookies.txt', 
       followlocation = TRUE, 
       autoreferer = TRUE, 
       ssl.verifypeer = FALSE, 
       curl = curl 
   ) 
   
   params <- 
       list(
        "login[email]" = your.email , 
        "login[password]" = your.password , 
        "login[is_for_login]" = 1 
       ) 
   
   html <- postForm("https://usa.ipums.org/usa-action/users/validate_login", .params = params, curl = curl) 
   dl <- getURL("https://usa.ipums.org/usa-action/extract_requests/download" , curl = curl) 
   
   # Load the DLL you created 
   # "writer" is the name of the function 
   # "curl_writer" is the name of the dll 
   dyn.load("curl_writer.dll") 
   writer <- getNativeSymbolInfo("writer", PACKAGE="curl_writer")$address 
   
   # Note that "URL" parameter is upper case, in your code it is lowercase 
   # I'm not sure if that has something to do 
   # "writer" is the symbol defined above 
   f <- CFILE(filename <- tempfile(), "wb") 
   curlPerform(URL=url, writedata=f@ref, writefunction=writer, curl=curl) 
   close(f)