web-scraping

8Nhiệt

1Trả lời

Tại sao đoạn mã sau không hoạt động? (html/select (:body (client/post "http://www.web.onpe.gob.pe/modElecciones/elecciones/elecciones2011/2davuelta/onpe/presidente/extras/provincias.php" {:form-params

5Nhiệt

1Trả lời

Tôi làm cách nào để sử dụng Scrapy để thu thập thông tin trong các trang?

Tôi đang sử dụng Python và Scrapy cho câu hỏi này. Tôi đang cố gắng thu thập trang web Một, trong đó có chứa một danh sách các liên kết đến các trang web B1, B2, B3, ... Mỗi B trang chứa một liên kết

13Nhiệt

2Trả lời

Scrapy Nutch

Tôi đang lên kế hoạch sử dụng tính năng vẽ web trong ứng dụng tôi hiện đang làm việc. Tôi đã làm một số nghiên cứu về Nutch và chạy một số thử nghiệm sơ bộ bằng cách sử dụng nó. Nhưng sau đó tôi đã gặ

6Nhiệt

2Trả lời

Làm thế nào để tìm div bên trong div khác bằng cách sử dụng HtmlUnit?

Tôi đang làm việc trên một số dự án mà tôi cần một số thông tin từ trang web khác. Tôi đang sử dụng HtmlUnit cho mục đích này, Nhưng vấn đề là tôi không thể duyệt qua các phần tử trên một trang. Ví dụ

7Nhiệt

2Trả lời

Newbie: Làm thế nào để vượt qua Javascript "onclick" nút để cạo trang web?

Đây là liên kết Tôi muốn cạo: http://www.prudential.com.hk/PruServlet?module=fund&purpose=searchHistFund&fundCd=MMFU_U Các "English Version" tab nằm ở góc trên bên phải để hiển thị phiên bản tiếng Anh

9Nhiệt

2Trả lời

cách tải xuống tệp nhị phân lớn với RCurl * sau khi xác thực * máy chủ

tôi đã hỏi this question về việc thực hiện tác vụ này với gói httr, nhưng tôi không nghĩ rằng nó có thể sử dụng httr. vì vậy tôi đã viết lại mã của mình để sử dụng RCurl thay thế - nhưng tôi vẫn đang

22Nhiệt

1Trả lời

Android Web Nạo với một trình duyệt Headless

Tôi đã dành một ngày nghiên cứu một thư viện mà có thể được sử dụng để thực hiện những điều sau: Lấy đầy đủ nội dung của một trang web như thế nào trong nền mà không render kết quả đến một lượt xem. T

7Nhiệt

2Trả lời

Cắt bỏ dữ liệu từ một bảng có giấy vụn

Cạo dữ liệu từ một bảng có nhiều mảnh vụn. Html bảng cũng giống như: <table class="tablehd"> <tr class="colhead"> <td width="170">MON, NOV 11</td> <td width="80">Item</td> <td width="60" align="c

7Nhiệt

3Trả lời

Quét dữ liệu Python bằng Scrapy

Tôi muốn xóa dữ liệu từ một trang web có TextFields, Buttons v.v .. và yêu cầu của tôi là điền vào các trường văn bản và gửi biểu mẫu để nhận kết quả và sau đó cạo các điểm dữ liệu từ trang kết quả .

8Nhiệt

1Trả lời

cách lấy start_url ban đầu bằng mẩu tin lưu niệm (trước khi chuyển hướng)

Tôi đang sử dụng Scrapy để thu thập dữ liệu một số trang. Tôi lấy các start_urls từ một bảng excel và tôi cần phải lưu các url trong mục. class abc_Spider(BaseSpider): name = 'abc' allowed_d