CasperJS - Cách mở tất cả các liên kết trong một dãy các liên kết

Question

Tôi đang cố gắng để CasperJS mở mỗi liên kết trong một liên kết array. Tôi có nó để sau khi tôi mở một liên kết, nó sẽ hiển thị tiêu đề của trang đó. Tuy nhiên, khi tôi chạy nó, không có gì được hiển thị.

Tôi có thể sử dụng for loop để hiển thị các liên kết và nó hoạt động hoàn hảo.

Đây là mã cho những gì tôi chỉ giải thích:

var x; 

casper.start(URL, function() { 

    x = links.split(" "); // now x is an array of links 

    for (var i = 0; j < x.length; i++) // for every link... 
    { 
     casper.thenOpen(partialURL + x[i], function() { // open that link 
      console.log(this.getTitle() + '\n'); // display the title of page 
     }); 
    } 

    this.exit(); 
}); 

casper.run(); 

Đây là một phương pháp tôi đã cố gắng:

var x; 

casper.start(URL, function() { 
    x = links.split(" "); // now x is an array of links 
    this.exit(); 
}); 

for (var i = 0; j < x.length; i++) // for every link... 
{ 
    casper.thenOpen(partialURL + x[i], function() { // open that link 
     console.log(this.getTitle() + '\n'); // display the title of page 
    }); 
} 

casper.run(); 

Nó nói rằng 'x' trong không xác định. Lưu ý rằng tôi đặt x là biến toàn cầu. Mọi sửa đổi mà bạn có thể thực hiện sẽ rất tuyệt vời. Cảm ơn.

Answer 1

var x; var i = -1; 

casper.start(URL, function() { 
    x = links.split(" "); // now x is an array of links 
}); 

casper.then(function() { 
    this.each(x, function() { 
     i++; // change the link being opened (has to be here specifically) 
     this.thenOpen((partialURL + x[i]), function() { 
      this.echo(this.getTitle()); // display the title of page 
     }); 
    }); 
}); 

casper.run(); 

Answer 2

Hãy thử một cái gì đó như thế này.

var x; 

casper.start(URL, function() { 
    x = links.split(" "); // now x is an array of links 
}); 

casper.then(function() { 
    this.eachThen(x, function(response) { 
     this.thenOpen((partialURL + response.data), function() { 
      this.echo(this.getTitle()); // display the title of page 
     }); 
    }); 
}); 

casper.run(); 

x không xác định vì vòng lặp for đã được thực thi trước casper.start. Trong đoạn mã trên, khối eachThen() được lồng bên trong khối casper.then để trì hoãn việc thực thi.

Answer 3

var i = 0; 
var nTimes = x.length; 

casper.repeat(nTimes, function() { 
    //... do your stuff 
    i++; 
}); 

làm việc cho tôi.

Answer 4

casper.start(); 
casper.each(Object.keys(array), function(casper, array_elem) { 
    this.thenOpen(partialURL+array[attay_item], function() { 
     ... 
}; 

Và về lỗi "không xác định". Cố gắng không sử dụng quá nhiều. Tôi gặp lỗi này với CasperJS thường xuyên, vì vậy tôi thích viết casper thay vì điều này.

Answer 5

Trong trường hợp của tôi, tôi phải xóa một trang web có số lượng trang không xác định. Mỗi trang (trừ trang cuối) có liên kết <a class="next-page" href="/page/N">Next page</a> (trong đó N là số trang). Không có cách nào để scraper biết khi nào nó kết thúc trừ khi liên kết "Next Page" không còn tồn tại nữa.

Tất nhiên bạn sẽ phải thực hiện điều chỉnh tùy thuộc vào loại liên kết pagination nào có thể tồn tại trên trang của bạn.

Đây là những gì tôi đã làm. Ymmv.

// imports 
var fs = require('fs'); 

// scraper state 
var state = {page: 1, data: []}; 

// casper 
var casper = require("casper").create(); 

// scraper function 
function scrape() { 
    this.echo('Scraping page ' + state.page + '...', 'INFO'); 

    state.data = state.data.concat(this.evaluate(function() { 
    // get some stuff from the page 
    return someData; 
    }); 

    var nextUrl = this.evaluate(function() { 
    var nextLink = document.querySelector("a.next-page"); 
    return nextLink && nextLink.href; 
    }); 

    if (nextUrl) { 
    state.page = state.page + 1; 
    casper.thenOpen(nextUrl, scrape); // <- recursion 
    } 
}); 

// run 
casper.run(function() { 
    fs.write('./data.json', JSON.stringify(state.data, null, '\t'), 'w'); 
    this.echo('Done!', 'INFO'); 
}); 

Hy vọng điều này sẽ giúp ai đó. Nếu bạn có câu hỏi khác, tôi sẽ rất vui khi được giúp đỡ.

Answer 6

Tôi đã giải quyết vấn đề tương tự với mã này:

casper.then(function() { 
    var i = -1; 
    this.eachThen(locations, function() { 
     i++; 
     //Do stuff here like for example: 
     this.thenOpen(YOUR_URL, function() { 
      this.waitForSelector("MYSELECTOR", 
      function() { 

      },     
      function() { 

      }) 
     }); 
    }) 
}); 

Answer 7

casper.start('about:blank'); 

var urls = ['http://google.fr', 'http://yahoo.fr', 'http://amazon.fr']; 

casper.each(urls, function(casper, url) { 
    casper.thenOpen(url, function() { 
     this.echo("I'm in your " + url + "."); 
    }); 
});