Song song các truy vấn SQL trong R

Question

Tôi có sáu truy vấn SQL mà tôi kịch bản mặc dù R mà mỗi lần mất một thời gian rất dài (~ 30 phút mỗi). Khi mỗi truy vấn trả về, tôi sẽ thao tác dữ liệu cho một số báo cáo chuẩn.

Những gì tôi muốn làm là sử dụng máy đa lõi của tôi để chạy các yêu cầu SQL song song từ R.

Tôi đang trên một máy tính Windows với Oracle DB. Tôi đã theo dõi blog post để sử dụng doSNOW và foreach để thử và tách các yêu cầu này và đây là điều tốt nhất tôi có thể tìm thấy trên stackoverflow.

Tôi đã có thể làm cho quy trình hoạt động đối với phiên bản ngoại trừ% do% không làm song song nhưng không phải% dopar%. Với% dopar% nó chỉ trả về một tập rỗng. Dưới đây là mã thiết lập bảng và chạy các truy vấn để bạn có thể thấy điều gì xảy ra. Xin lỗi trước nếu có quá nhiều mã cơ bản.

Tôi đã xem xét một số gói R khác nhưng không thấy giải pháp rõ ràng. Ngoài ra nếu bạn có một cách tốt hơn để quản lý loại quy trình này, tôi muốn được quan tâm để nghe nó - chỉ cần ghi nhớ tôi là một nhà phân tích không phải là một nhà khoa học máy tính. Cảm ơn!

#Creating a cluster 
library(doSNOW) 
cl <- makeCluster(c("localhost","localhost"), type = "SOCK") 
registerDoSNOW(cl) 

#Connecting to database through RODBC 
ch=odbcConnect("",pwd = "xxxxx", believeNRows=FALSE) 
#Test connection 
odbcGetInfo(ch) 

#Creating database tables for example purposes 
qryA1 <- "create table temptable(test int)" 
qryA2 <- "insert into temptable(test) values((1))" 
qryA3 <- "select * from temptable" 
qryA4 <- "drop table temptable" 
qryB1 <- "create table temptable2(test int)" 
qryB2 <- "insert into temptable2(test) values((2))" 
qryB3 <- "select * from temptable2" 
qryB4 <- "drop table temptable2" 

sqlQuery(ch, qryA1) 
sqlQuery(ch, qryA2) 
doesItWork <- sqlQuery(ch, qryA3) 
doesItWork 
sqlQuery(ch, qryB1) 
sqlQuery(ch, qryB2) 
doesItWork <- sqlQuery(ch, qryB3) 
doesItWork 

result = c() 
output = c() 
databases <- list('temptable','temptable2') 


#Non-parallel version of foreach 
system.time(
foreach(i = 1:2)%do%{ 
result<-sqlQuery(ch,paste('SELECT * FROM ',databases[i])) 
output[i] = result 
} 
) 

output 

#Parallel version of foreach 

outputPar = c() 

system.time(
foreach(i = 1:2)%dopar%{ 
#Connecting to database through RODBC 
ch=odbcConnect(dsn ,pwd = "xxxxxx", believeNRows=FALSE) 
#Test connection 
odbcGetInfo(ch) 
result<-sqlQuery(ch,paste('SELECT * FROM ',databases[i])) 
outputPar[i] = result 
} 
) 

outputPar 

sqlQuery(ch, qryA4) 
sqlQuery(ch, qryB4) 

Answer 1

Khi bạn thực hiện việc chuyển nhượng outputPar[i] = result bên trong vòng lặp foreach nối tiếp, đây là OK (nhưng không thực sự là mục đích sử dụng của foreach). Khi bạn thực hiện nhiệm vụ này trong vòng lặp song song, nó không phải là OK. Xem http://tolstoy.newcastle.edu.au/R/e10/help/10/04/3237.html cho một câu hỏi tương tự được trả lời bởi David Smith tại Revolution.

Là một giải pháp,

system.time(
    outputPar <- foreach(i = 1:2, .packages="RODBC")%dopar%{ 
#Connecting to database through RODBC 
    ch=odbcConnect(dsn ,pwd = "xxxxxx", believeNRows=FALSE) 
#Test connection 
    odbcGetInfo(ch) 
    result<-sqlQuery(ch,paste('SELECT * FROM ',databases[i])) 
    result 
} 
)