xoá html được tạo bởi javascript với python

Question

Tôi cần phải cạo một trang web bằng python. Tôi có được mã nguồn html với mô-đun urlib, nhưng tôi cũng cần phải cạo một số mã html được tạo ra bởi một hàm javascript (được bao gồm trong nguồn html). Những gì chức năng này không "trong" trang web là khi bạn nhấn một nút nó kết quả đầu ra một số mã html. Làm thế nào tôi có thể "bấm" nút này với mã python? Có thể giúp đỡ tôi không? Tôi đã chụp yêu cầu POST bằng firebug nhưng khi tôi cố gắng chuyển nó lên url, tôi nhận được lỗi 403. Bất kỳ đề xuất?

Answer 1

Trong Python, tôi nghĩ rằng Selenium 1.0 là cách để thực hiện. Đó là thư viện cho phép bạn điều khiển trình duyệt web thực sự từ ngôn ngữ bạn chọn.

Bạn cần phải có trình duyệt web được đề cập được cài đặt trên máy mà tập lệnh của bạn chạy, nhưng có vẻ như cách đáng tin cậy nhất để kiểm tra trang web có lập trình sử dụng nhiều JavaScript.

Answer 2

Tôi đã phải làm điều này trước (trong .NET) và về cơ bản bạn sẽ phải lưu trữ một trình duyệt, làm cho nó nhấp vào nút, và thẩm vấn DOM (mô hình đối tượng tài liệu) của trình duyệt để tại HTML được tạo.

Đây chắc chắn là một trong những nhược điểm đối với các ứng dụng web di chuyển theo hướng tiếp cận Ajax/Javascript để tạo ra phía máy khách HTML.

Answer 3

Tôi sử dụng webkit, trình kết xuất trình duyệt phía sau Chrome và Safari. Có Python bindings to webkit through Qt. Và đây là một đầy đủ example to execute JavaScript and extract the final HTML.

Answer 4

Đối với Scrapy (khung công cụ cạo trăn lớn) có scrapyjs: trình xử lý tải xuống bổ sung/trình xử lý trung gian có thể cắt nội dung được tạo javascript.

Nó dựa trên công cụ webkit bởi pygtk, python-webkit và python-jswebkit và nó khá đơn giản.

Answer 5

Vì không có câu trả lời toàn diện ở đây, tôi sẽ tiếp tục và viết một câu trả lời.

Để cạo bỏ JS trang trả lại, chúng tôi sẽ cần một trình duyệt có một công cụ JavaScript (ei, hỗ trợ Javascript rendering)

Tùy chọn như mechanize, url2lib sẽ không làm việc kể từ khi họ KHÔNG hỗ trợ JavaScript.

Vì vậy, đây là những gì bạn cần làm:

Cài đặt PhantomJS để chạy với Selenium. Sau khi cài đặt các phụ thuộc cho cả hai người trong số họ (tham khảo this), bạn có thể sử dụng mã sau làm ví dụ để tìm nạp trang web được hiển thị đầy đủ.

from selenium import webdriver 

driver = webdriver.PhantomJS() 
driver.get('http://jokes.cc.com/') 
soupFromJokesCC = BeautifulSoup(driver.page_source) #page_source fetches page after rendering is complete 
driver.save_screenshot('screen.png') # save a screenshot to disk 

driver.quit()