mechanize

11Nhiệt

2Trả lời

Trình thu thập thông tin web - Bỏ qua tệp Robots.txt?

Một số máy chủ có tệp robots.txt để ngăn trình thu thập dữ liệu web thu thập dữ liệu thông qua trang web của họ. Có cách nào để làm cho trình thu thập dữ liệu web bỏ qua tệp robots.txt không? Tôi đang

9Nhiệt

1Trả lời

Lấy HTML được render bằng MozRepl và Mechanize :: Firefox

Tôi vừa mới được giới thiệu về những điều kỳ diệu của MozRepl được sử dụng kết hợp với WWW :: Mechanize :: Firefox của Perl và đang cố gắng tìm cách sử dụng nó để thu thập thông tin GWT các trang (ví

6Nhiệt

1Trả lời

Cơ chế Python sẽ không mở các trang này

Tôi đang làm việc với mô-đun Cơ chế của Python. Tôi đã đi qua 3 địa điểm khác nhau mà không thể được mở bằng mechanize trực tiếp: en.wikipedia.org/wiki/Dog (người dùng mới, không thể gửi hơn 2 liên kế

23Nhiệt

2Trả lời

Tại sao truy cập trang web SSL bằng Cơ chế trên Windows không thành công, nhưng trên máy Mac hoạt động?

Đây là mã tôi đang sử dụng để kết nối với trang web SSL. require 'mechanize' a = Mechanize.new page = a.get 'https://site.com' I "m sử dụng bởi Ruby 1.9.3 và cơ giới hóa 2.1pre1 + phụ thuộc Trên M

7Nhiệt

1Trả lời

Những hạn chế của cơ giới hóa là gì? và sự khác biệt giữa cơ chế hóa và watir

Tôi đang sử dụng cơ giới hóa để loại bỏ một số trang web. Tôi cần biết những hạn chế về cơ giới hóa là gì? Những gì cơ giới hóa không thể làm gì? Nó có thể thực thi các javascripts được nhúng trong tr

5Nhiệt

4Trả lời

Vấn đề Urllib2 không giải thích được giữa virtualenv.

Tôi có một số mã kiểm tra (như là một phần của một webapp) có sử dụng urllib2 để thực hiện một hoạt động tôi thường sẽ thực hiện thông qua một trình duyệt: Đăng nhập vào một trang web từ xa Di chuyển

6Nhiệt

2Trả lời

Làm thế nào để chọn một Nút radio bằng cách sử dụng Cơ chế trong Ruby?

tôi đang xây dựng trình thu thập thông tin và tôi đang sử dụng Cơ chế. Tôi muốn nhấp vào nút radio. Làm thế nào để làm điều đó ? Ví dụ: có hai nút radio cho biết 'A' và 'B'. Trang web tự động chọn B,

6Nhiệt

2Trả lời

Làm thế nào để chọn một mục cho trình đơn thả xuống với cơ giới hóa trong python?

Tôi thực sự bối rối. Tôi về cơ bản đang cố gắng điền vào một mẫu trên một trang web với cơ giới hóa cho python. Tôi có mọi thứ để làm việc ngoại trừ menu thả xuống. Tôi sử dụng cái gì để chọn nó và tô

6Nhiệt

1Trả lời

Làm cách nào để phân tích cú pháp thông qua trang cuộn vô hạn (ví dụ: Wallbase.cc/search/sky) bằng Python?

Không chắc chắn nếu có bất kỳ thứ gì với Mechanize hoặc BeautifulSoup có thể giúp ích. Bất kỳ đề xuất sẽ được đánh giá rất cao!

7Nhiệt

5Trả lời

Symfony và mechanize

Tôi đang cố gắng truy cập vào một trang web địa phương được thiết kế với khung công tác Symfony. Nó hoạt động hoàn hảo với trình duyệt web và với CURL nhưng khi tôi sử dụng Mechanize tôi luôn có 401 c